آزمون دو حوزه‌ای نشان می‌دهد ارزیابی سخت‌گیرانه‌تر الزاماً به کشف بهتر با LLM نمی‌انجامد

پژوهشگران در یک آزمایش ازپیش‌ثبت‌شده، فرض رایج در خط‌لوله‌های پژوهشی خودکار را آزمودند: اینکه تقویت مرحلهٔ ارزیابی، کیفیت کشف را بالا می‌برد. آن‌ها در دو حوزهٔ زمان‌بندی کارگاه و واگذاری پردازش به تجهیزات لبهٔ خودرویی، با استفاده از مسیرهای Beijing T-Drive، در هر حوزه ۱۰۰ جفت پیشنهاد LLM و پیشنهاد تصادفی را مقایسه کردند و سه سطح ارزیاب به کار گرفتند.

یک مجموعهٔ ۴۲۹ موردی از تغییرات نشان داد که امتیازها با سخت‌گیرانه‌تر شدن ارزیابی افزایش می‌یابند؛ اما این افزایش به برتری بیشتر پیشنهادهای LLM نسبت به پیشنهادهای تصادفی منجر نشد. در حوزهٔ نخست، شواهدی از افزایش این برتری به دست نیامد (آزمون یک‌طرفه، p=0.1115) و در حوزهٔ دوم نیز چنین افزایشی مشاهده نشد (p=0.9994). در حوزهٔ دوم، برتری پیشنهادهای LLM زیر سخت‌گیرانه‌ترین سطح حتی کاهش یافت؛ اختلاف حاشیهٔ عملکرد ‎-0.040 و p=0.0013 گزارش شد.

بااین‌حال، مقایسهٔ ترتیب ارزیاب‌ها محدودیت داشت: دو سطح پایین‌تر در ۱۰۰ جفت از ۱۰۰ جفت در یک حوزه و ۹۹ جفت از ۱۰۰ جفت در حوزهٔ دیگر، نامزدهای یکسانی را پذیرفتند. بنابراین، طبق چکیدهٔ مقاله، امکان آزمودن ترتیب سطوح سخت‌گیری وجود نداشت. متن منبع به شواهد پسینی دربارهٔ نقش ترکیب مجموعهٔ پیشنهاددهندگان اشاره می‌کند، اما جزئیات آن را در چکیده نمی‌آورد.