هوش مصنوعی
پژوهش arXiv دو منشأ ناهماهنگی در آموزش تقویتی مدل‌های زبانی را بررسی می‌کند
پیش‌چاپی تازه می‌گوید تفاوت میان موتور تولید پاسخ و سامانهٔ آموزش می‌تواند داده‌های یادگیری را از سیاست جاری مدل دور کند؛ منشأ این تفاوت در انتخاب روش اصلاح اهمیت دارد.
در یادگیری تقویتیِ on-policy، فرض بر این است که پاسخ‌های آموزشی از سیاست جاری مدل زبانی بزرگ نمونه‌برداری شده‌اند. اما در عمل، یک موتور استنتاج پاسخ‌ها را تولید می‌کند و سامانه‌ای جداگانه گرادیان‌ها را محاسبه می‌کند؛ اختلاف میان این دو فرایند، داده‌ها را از حالت on-policy خارج می‌کند.
این پیش‌چاپ که در arXiv منتشر شده، دو منشأ برای این ناهماهنگی معرفی می‌کند: تفاوت‌های عددی موتور استنتاج و قدیمی‌ماندن وزن‌ها هنگام نمونه‌برداری ناهمگام. نویسندگان می‌گویند روشی که آموزش را در برابر یکی از این منشأها پایدار می‌کند، ممکن است برای دیگری کارساز نباشد. آن‌ها با ارزیابی سامانهٔ آموزش بر پایهٔ وزن‌های موتور نمونه‌بردار، خطای هر توکن نمونه‌برداری‌شده را به دو بخش تقسیم می‌کنند: اختلاف عددی و بخشی مرتبط با وزن‌های قدیمی. چکیدهٔ در دسترس جزئیات بیشتری از نتایج یا راهکارهای پیشنهادی ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده