هوش مصنوعی

روش خودبازیِ مدل زبانی، بدون داور هم عملکرد را بهتر کرد

پیش‌چاپی در arXiv روش Test-Time Self-Play را معرفی می‌کند؛ روشی که در ارزیابی روی بخشی از LiveCodeBench v6، با کاهش قدرتِ داور از روش‌های مقایسه‌شده پیش افتاد.

۱ دقیقه مطالعه
Figure 8: FMV under partial test-input access on HardLCBv6. The final evaluation-time filter is removed, and all submitted candidates are scored directly against the public+private evaluator v ⋆ v^{\star} . The x-axis de
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

بسیاری از روش‌های افزایش توان مدل زبانی هنگام اجرا، برای سنجش درستی پاسخ‌ها به یک «داور» متکی‌اند؛ اما در بعضی کاربردها داور قدرتمندی برای مسئلهٔ هدف در دسترس نیست. پژوهشگران در پیش‌چاپی با عنوان Test-Time Self-Play (TTSP)، روشی مبتنی بر خودبازی نامتقارن پیشنهاد کرده‌اند که به داور نیاز ندارد.

در آزمایش روی زیرمجموعه‌ای از LiveCodeBench v6 که بر اساس دشواری تنظیم شده بود، TTSP در همهٔ سطح‌های قدرت داورِ ارزیابی‌شده بهترین عملکرد را داشت و فاصله‌اش با قوی‌ترین روش پایه، با ضعیف‌تر شدن داور بیشتر شد. در حالت بدون داور، پژوهشگران بهبود مطلق ۳۵ درصدی در معیار mean@8 گزارش کردند. به گفتهٔ نویسندگان، این دستاوردها در طیفی از سطح‌های قدرت داور حفظ می‌شود، مگر زمانی که سیاست پایه تقریباً هیچ پوششی از پاسخ درست نداشته باشد.

این پژوهش در arXiv منتشر شده و هنوز پیش‌چاپ است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست