هوش مصنوعی
بنچمارک TerminalWorld: بهترین عامل‌ها در کارهای واقعی ترمینال فقط ۶۲٫۵٪ موفق شدند
پژوهشگران بنچمارکی با ۱٬۵۳۰ وظیفهٔ استخراج‌شده از ضبط‌های واقعی ترمینال ساخته‌اند؛ نتایج نشان می‌دهد امتیاز عامل‌ها در آن با بنچمارک‌های دست‌چین‌شده همبستگی کمی دارد.
پژوهشگران در مقاله‌ای پیش‌چاپ، TerminalWorld را معرفی کرده‌اند؛ بنچمارکی که وظایف ارزیابی عامل‌های هوش مصنوعی را به‌طور خودکار از ضبط‌های واقعی کار با ترمینال استخراج می‌کند. این سامانه با پردازش ۸۰٬۸۷۰ ضبط، ۱٬۵۳۰ وظیفهٔ اعتبارسنجی‌شده در ۱۸ دستهٔ واقعی ساخته است؛ از کارهای روزمرهٔ کوتاه تا گردش‌کارهایی با بیش از ۵۰ گام. وظایف در مجموع ۱٬۲۸۰ فرمان منحصربه‌فرد را پوشش می‌دهند.
پژوهشگران از میان این مجموعه، ۲۰۰ وظیفهٔ متنوع را به‌صورت دستی بازبینی کرده و زیرمجموعهٔ TerminalWorld-Verified را ساخته‌اند. در ارزیابی هشت مدل پیشرفته و شش عامل، بالاترین نرخ موفقیت ۶۲٫۵ درصد بود؛ نتیجه‌ای که نشان می‌دهد سیستم‌های کنونی هنوز در انجام گردش‌کارهای اصیل ترمینال مشکل دارند.
امتیازها در TerminalWorld با نتایج بنچمارک‌های موجودی مانند Terminal-Bench همبستگی ضعیفی داشتند: ضریب همبستگی پیرسون ۰٫۲۰ گزارش شده است. نویسندگان می‌گویند تولید خودکار وظایف از ضبط‌های واقعی، امکان ساخت بنچمارکی مقیاس‌پذیر را فراهم می‌کند که با تغییر رویه‌های توسعه‌دهندگان نیز به‌روز شود. مقاله در مسیر ارزیابی‌ها و مجموعه‌داده‌های NeurIPS 2026 پذیرفته شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده