ممیزی Terminal-Bench نشان می‌دهد نزدیک به ۳۰ درصد بنچمارک نیازمند اصلاح بوده است

پژوهشگران در پیش‌چاپی در arXiv می‌گویند بنچمارک‌های ارزیابی عامل‌های کدنویسی، حتی پس از بررسی دقیق پیش از انتشار، ممکن است با گذشت زمان از کار بیفتند: مدل‌های بهتر می‌توانند راه‌حل‌های معتبری پیدا کنند که آزمون‌های موجود رد می‌کنند و تغییر زیرساخت ارزیابی نیز ممکن است فرض‌های نهفته در وظایف و آزمون‌ها را بی‌اعتبار کند. نویسندگان انباشته‌شدن این نقص‌ها و فاصلهٔ فزایندهٔ امتیاز بنچمارک با توانایی‌ای را که قرار است بسنجد، «بدهی نگه‌داری بنچمارک» می‌نامند.

آن‌ها یک روند اعتبارسنجی پیوسته پیشنهاد کرده‌اند که گزارش‌های جامعه، فایل‌های وظایف، ردپاهای عامل‌ها و بررسی خودکارِ پاسخ‌های مرجع را با اصلاحاتی که تأیید انسانی می‌خواهند ترکیب می‌کند. پژوهشگران این روش را برای ممیزی Terminal-Bench 2.0 به کار بردند؛ بنچمارکی که پیش از انتشار به بررسی انسانی و کمک‌گرفته از مدل‌های زبانی و آزمون خصمانه سپرده شده بود. ممیزی بااین‌حال در حدود ۳۰ درصد بنچمارک ایراد پیدا کرد و اصلاحات در نسخهٔ Terminal-Bench 2.1 منتشر شد.

این اصلاحات نتیجهٔ ارزیابی را هم تغییر داد: دقت بیش از ۱۰ واحد درصد افزایش یافت و رتبهٔ برخی مدل‌ها تا سه پله جابه‌جا شد، هرچند هم‌بستگی کلی رتبه‌بندی‌ها بالا ماند؛ ضریب Spearman برابر با ۰٫۹۵۸ بود.

پژوهش همچنین نشان می‌دهد محدودیت زمان اجرا می‌تواند بر نتیجه اثر بگذارد. برای نمونه، افزایش زمان در GPT 5.4 شکاف عملکردی میان دو harness را ۲۰ واحد درصد از میان برد و در GPT 5.4 mini شکاف ۳۰ واحد درصدی را به ۵ واحد درصد کاهش داد. از نظر نویسندگان، بنابراین بودجهٔ منابع نیز بخشی از مشخصات سنجش است و باید همراه با خود وظایف بنچمارک دوباره اعتبارسنجی شود.