پژوهشگران بررسی کردند آیا بردارهای هدایت می‌توانند آموزش پس از پیش‌آموزش مدل‌های زبانی را بهبود دهند

پژوهشگران در پیش‌چاپی در arXiv می‌پرسند آیا همان جهت‌هایی که با افزودن به حالت‌های پنهان در زمان اجرا رفتار مدل‌های زبانی بزرگ را تغییر می‌دهند، می‌توانند راهنمای به‌روزرسانی پارامترها در مرحلهٔ پس‌آموزش هم باشند. آن‌ها این پرسش را در یادگیری نظارت‌شده، شامل SFT و تقطیر، و نیز یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی (RLVR) بررسی کرده‌اند.

چارچوب پژوهش دو شیوهٔ مداخله را در نظر می‌گیرد: استفاده از یک hook در حالت پنهان هنگام آموزش نظارت‌شده با teacher forcing، و سازوکاری برای اصلاح advantage در rolloutهای نادرست در GRPO. برای هر شیوه نیز سه بُعد طراحی بررسی می‌شود: جهت هدایت، محل اعمال آن و عملیاتی که برای ترکیبش با فرایند آموزش به کار می‌رود. متن در دسترس جزئیات نتایج یا جمع‌بندی پژوهش را ارائه نمی‌کند.