بازخورد، میانگین امتیاز پروژه‌های داده‌کاوی مدل‌های زبانی را از ۵۹ به ۷۶ درصد رساند

در یک ارزیابی روی ۱۴۷ پروژهٔ اولیه، ۱۰۷ پروژه اجرا و نمایش داده شدند. میانگین امتیاز پس از سه دور بازبینی از ۵۹ به ۷۶ درصد رسید. در این آزمایش، یک مدلِ «نویسنده» داده را دریافت، پاک‌سازی و تحلیل می‌کرد و گزارشی کوتاه می‌نوشت؛ سپس پروژه اجرا می‌شد و یک مدلِ «ارزیاب» آن را نمره می‌داد. نویسنده می‌توانست با دریافت بازخورد کارش را اصلاح کند.

پژوهشگران هفت مدل از پنج شرکت Anthropic، OpenAI، Google، DeepSeek و Z.AI را بررسی کردند. هر مدل هم نویسنده بود و هم ارزیاب؛ در مجموع ۴۹ جفت نویسنده‌ـ‌ارزیاب، هرکدام سه بار آزمایش شدند.

میزان بهبود به مدل و نقشی که بر عهده داشت وابسته بود: افزایش امتیاز نویسندگان از ۳ واحد درصد برای Opus 5.5 شرکت Anthropic تا ۴۶ واحد درصد برای Haiku 4.5 همین شرکت متغیر بود. از نگاه ارزیاب‌ها نیز دامنهٔ افزایش از ۱۳ واحد درصد برای Gemini 3.8 Flash گوگل تا ۳۲ واحد درصد برای Haiku 4.5 می‌رسید. وقتی مدل کار خودش را ارزیابی می‌کرد، معمولاً امتیازی حدود ۹ واحد درصد بالاتر از میانگین امتیاز دیگر مدل‌ها می‌داد.

پژوهشگران می‌گویند حدود نیمی از تفاوت امتیازها میان دورهای مختلف، ناشی از نوسان خود ارزیاب بوده است. بازخورد عموماً به بالاترین امتیازها می‌انجامید، اما صرف فرصت بازبینی یا بودجهٔ بیشتر برای زمان و استفاده از ابزارها نیز برای برخی مدل‌ها بهبود قابل‌توجهی ایجاد می‌کرد و برای برخی دیگر نه. در مجموع، مدل‌های ضعیف‌تر معمولاً به بهبود مدل‌های قوی‌تر کمک نمی‌کردند.