روش تازه‌ای برای آموزش مدل‌های زبانی در کارهای باز، بدون دادهٔ تازه

پژوهشگران در مقاله‌ای که در arXiv منتشر شده، روش Rubric Curriculum RL (RcRL) را برای بهبود عملکرد مدل‌های زبانی در حوزه‌هایی معرفی کرده‌اند که پاسخ درستشان به‌سادگی قابل‌راستی‌آزمایی نیست؛ از جمله نویسندگی خلاق و پاسخ‌گویی در حوزهٔ سلامت. این مقاله پذیرفته‌شدهٔ کنفرانس ICML 2026 است.

در یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی، مانند تولید کد و حل مسائل ریاضی، می‌توان خروجی مدل را با پاسخ مرجع سنجید. اما در کارهای باز، چنین مرجعی معمولاً در دسترس نیست، برچسب‌گذاری انسانی هزینه‌بر است و مدل‌های پاداش ممکن است هدف ارزیابی را دور بزنند. نویسندگان به شکاف میان تولید و ارزیابی اشاره می‌کنند: در بسیاری از موارد، تشخیص پاسخ بهتر از تولید آن آسان‌تر است.

RcRL از ترجیح‌های دوتایی میان خروجی‌های مدل استفاده می‌کند و معیارهای روبریک را به‌تدریج تغییر می‌دهد. به‌گفتهٔ پژوهشگران، این ترکیب در مقایسه با امتیازدهی مطلق، سیگنال تمایزبخش‌تری فراهم می‌کند و هدف آموزش را از حالت ثابت خارج می‌سازد. روش پیشنهادی به دادهٔ تازه، برچسب انسانی یا مدل معلم قوی‌تر نیاز ندارد.

بر اساس چکیدهٔ مقاله، روش‌های پایه پس از چندصد گام به سکون می‌رسند، اما RcRL آنتروپی خروجی را حفظ می‌کند و پس از ۱۰۰۰ گام نیز به بهبود ادامه می‌دهد. در نویسندگی خلاق، مدل آموزش‌دیده با RcRL در ۷۰٫۵ درصد مقایسه‌های انسانی بر مدل پایه برتری داشته است. در HealthBench نیز بهبود نسبت به مدل پایه در کل مجموعه ۱۴٫۶ درصد و در زیرمجموعهٔ توافقی ۲۵٫۴ درصد گزارش شده؛ نویسندگان می‌گویند این روش از همهٔ خط‌پایه‌های آموزشی، از جمله روبریک‌های ویژهٔ هر نمونه، بهتر عمل کرده است.