خطای ارزیابی، رتبهٔ عامل‌های هوش مصنوعی را در دو بنچمارک جابه‌جا می‌کند

پژوهشگران با بررسی داده‌های منتشرشدهٔ دو رتبه‌بندی عمومی HAL و tau2-bench، چند خطای ابزاری در ارزیابی عامل‌های هوش مصنوعی شناسایی کرده‌اند. در نمونه‌ای از یک بنچمارک خدمات مشتری خطوط هوایی، عامل عمومی ۱۳ امتیاز از یک سامانهٔ اختصاصی عقب‌تر بود؛ اما عامل عمومی اغلب مکالمه‌هایش را به شکلی پایان می‌داد که ارزیابی را فعال نمی‌کرد. در نتیجه فقط حدود نیمی از اجراهای آن نمره گرفتند و بقیه به‌عنوان شکست ثبت شدند. ارزیابی دوبارهٔ اجراهای نمره‌نگرفته طبق قواعد خود بنچمارک، بدون اجرای مجدد عامل‌ها، فاصلهٔ کلی را از بین برد.

چکیدهٔ پیش‌چاپ همچنین به سه خطای دیگر اشاره می‌کند؛ از جمله اینکه ستون هزینه، فراخوانی‌های تو‌در‌توی مدل را دوبار و به‌شکلی نابرابر می‌شمارد. منبع جزئیات کامل این خطاهای دیگر را در متن ارائه‌شده شرح نمی‌دهد.