پژوهش: ترجیح داور هوش مصنوعی می‌تواند به مدلِ آموزش‌دیده منتقل شود

پژوهشگران در پیش‌چاپی در arXiv می‌گویند در فرایند پس‌آموزش مبتنی بر Group Relative Policy Optimization، داور زبانی می‌تواند ترجیحی را به مدل منتقل کند؛ حتی وقتی مدل فقط خروجی‌های خودش و امتیازهای داور را می‌بیند و دادهٔ آموزشی نشانهٔ معنایی روشنی از آن ترجیح ندارد.

در آزمایش‌ها، مدل هجاهای ساختگی یا عدد تولید می‌کرد و داوری که به ترجیح یک حیوان سوق داده شده بود، به این خروجی‌ها امتیاز می‌داد. ترجیح مدل در مقایسه با اجرای دیگری که داورش حیوانی متفاوت را ترجیح می‌داد، به‌سمت حیوان اول جابه‌جا شد. از ۴۸ وضعیت آزمایشی، دو مورد از معیار اعتبار عبور نکردند و در ۱۷ مورد، از جمله برخی آزمایش‌های مبتنی بر اعداد، اثر در سطح نرخ کشف کاذب ۵ درصد تأیید شد. چکیده می‌گوید پژوهش توضیح می‌دهد چرا این اثر در موارد دیگر برقرار نبود، اما متن موجود جزئیات آن توضیح را ارائه نمی‌کند.