پژوهش: یادگیری تقویتیِ مبتنی بر راستی‌آزما پس از آموزش نظارت‌شده، بهبود اندکی ایجاد کرد

پژوهشی تازه در arXiv سهم یادگیری تقویتی از پاداش‌های قابل‌راستی‌آزمایی (RLVR) را پس از تنظیم دقیق نظارت‌شده (SFT) سنجیده است. پژوهشگران در بنچمارک قطعی gpu-train-debug، شامل ۱٬۸۷۷ مسئلهٔ مصنوعی تشخیص خطا در GPU و آموزش مدل‌های زبانی از ۳۰ الگو، دو روش را در شرایط کنترل‌شده مقایسه کردند. پاسخ‌ها با یک راستی‌آزمای برنامه‌ای و امتیازدهی جزئی ارزیابی شدند.

در اجرای اصلی، ۱٬۲۰۰ نمونهٔ آموزشیِ طلایی به SFT کمک کرد در بخش دشوار بنچمارک به امتیاز ۰٫۷۸۵ برسد. در مقابل، پس از ۶۰ گام GRPO با نرخ یادگیری ۱۰⁻⁶، افزایش قابل‌تشخیصی در داده‌های هم‌توزیع دیده نشد: تغییر امتیاز ۰٫۲۲ واحد بود و فاصلهٔ اطمینان ۹۵درصدی آن از منفی ۰٫۰۶ تا مثبت ۰٫۵۱ امتداد داشت. در بخشِ خارج از توزیع، بهبود ۰٫۳۳ واحدی ثبت شد؛ فاصلهٔ اطمینان آن از ۰٫۰۲ تا ۰٫۶۸ بود.

نویسندگان می‌گویند SFT بخش عمدهٔ بهبود ممکن را فراهم کرد و RLVR فقط در مواجهه با تغییر توزیع، سودی محدود اما قابل‌اندازه‌گیری داشت. به‌گفتهٔ پژوهش، خطاهای باقی‌مانده پس از SFT عمدتاً نظام‌مند و در نمونه‌های مختلف یکسان بودند؛ وضعیتی که احتمالاً سیگنال یادگیری درون‌گروهی GRPO را کاهش می‌دهد. یک اجرای جداگانهٔ GRPO از نقطهٔ شروع پایه نیز نتیجهٔ اولیه را در افق کامل ۶۰ گام تأیید کرد.

این پژوهش پیش‌چاپ است. نویسندگان هزینهٔ محاسباتی آن را ۸٫۶۹ دلار اعلام کرده‌اند و می‌گویند داده‌های تولیدشده، پیکربندی‌های ثابت و کد برچسب‌خورده برای بازتولید مطالعه بایگانی شده‌اند.