روش MinPRO برای پایدارترکردن آموزش آفلاین مدل‌های زبانی پیشنهاد شد

در آموزش تقویتی مدل‌های زبانی بزرگ، نمونه‌های آموزشی اغلب با سیاستی قدیمی‌تر تولید می‌شوند و سپس برای به‌روزرسانی سیاست فعلی به کار می‌روند. این فاصله میان سیاست تولیدکننده و سیاست هدف می‌تواند آموزش را ناپایدار کند؛ به‌ویژه وقتی این فاصله زیاد باشد. پژوهش تازه‌ای در arXiv می‌گوید روش‌های رایج که نسبت اهمیت را برای هر توکن جداگانه محاسبه می‌کنند، تغییر توزیع پیشوندها را به‌طور صریح اصلاح نمی‌کنند.

پژوهشگران برای این مسئله روشی به نام Minimum Prefix Ratio یا MinPRO پیشنهاد کرده‌اند. این روش نسبت تجمعی اهمیت در پیشوند را با یک تقریبِ غیرتجمعی و سوگیرانه جایگزین می‌کند که بر کمترین نسبت توکنیِ مشاهده‌شده در پیشوند قبلی تکیه دارد. به‌گفتهٔ مقاله، آزمایش‌ها روی مدل‌های زبانی متراکم و مدل‌های mixture-of-experts، در چند معیار استدلال ریاضی، بهبود پایداری آموزش و عملکرد اوج را در شرایط آفلاین نشان داده‌اند. مقاله در arXiv منتشر شده و پذیرش آن در NeurIPS 2026 ذکر شده است.