روش تازه‌ای برای تقطیر مدل‌های زبانی، آموزش را به پیشوند قابل‌اعتماد محدود می‌کند

در تقطیر برون‌سیاستی (OPD)، مدل دانشجو روی متن‌هایی که خودش تولید کرده با توزیع توکن بعدیِ مدل معلم هم‌تراز می‌شود. روش‌های رایج معمولاً این مقایسه را به top-k توکن برترِ معلم محدود می‌کنند؛ اما به‌گفتهٔ پژوهشگران مقالهٔ پیش‌چاپ O²PD، این کار هم ممکن است راهنمایی نامطمئنی از معلم بگیرد، چون مسیر تولیدیِ دانشجو برای معلم خارج از سیاست است، و هم احتمال توکن‌های بیرون از مجموعهٔ top-k را نادیده می‌گیرد.

پژوهشگران گزارش می‌کنند هم‌ترازی روی پیشوند مسیر دانشجو از هم‌ترازی روی کل زمینه قابل‌اعتمادتر است؛ بنابراین O²PD فقط ۲۰ درصد ابتدایی هر مسیر را در نظر می‌گیرد. این روش همچنین با دو راهبرد پشتیبانی، جرم احتمالِ خارج از top-k را مدیریت می‌کند: «پشتیبانیِ بازنشانی» آن را در یک مؤلفهٔ ویژه جمع می‌کند و «همگرایی پشتیبانی» مجموعه را به اشتراکِ توکن‌های ازپیش‌هم‌ترازشده محدود می‌سازد.

O²PD برای مقایسهٔ توزیع‌ها از واگرایی آلفا با دروازهٔ هم‌پوشانی استفاده می‌کند؛ سازوکاری که بنا بر چکیده، میان پوشش‌دادن چند حالت و تمرکز بر حالت‌های محتمل‌تر موازنه برقرار می‌کند و مقدار آلفا و پشتیبانی را متناسب با هم‌پوشانی تنظیم می‌کند. این مقاله در arXiv منتشر شده و پیش‌چاپ است.