ThinkSafe برای هم‌ترازی ایمنی مدل‌های استدلالی، داده را از خود مدل می‌سازد

پژوهشگران در پیش‌چاپی در arXiv روشی به نام ThinkSafe معرفی کرده‌اند که هدفش بازگرداندن ایمنی مدل‌های استدلالی، بدون استفاده از مدل معلم خارجی است. به‌گفتهٔ چکیده، این مدل‌ها با یادگیری تقویتی به عملکرد بالایی می‌رسند، اما ممکن است ایمنی‌شان افت کند. تقطیر از یک معلم خارجی می‌تواند ایمنی را بهبود دهد، ولی احتمال دارد عملکرد استدلالی را تضعیف کند.

ThinkSafe دادهٔ هم‌ترازی را از نسخهٔ ثابتِ خود مدل تولید می‌کند: ابتدا با «هدایت امتناع» مدل به استدلال ایمن سوق داده می‌شود و سپس یک فیلتر ایمنی پاسخ‌ها را پالایش می‌کند. داده‌های پالایش‌شده در مرحلهٔ بعد، برای تنظیم دقیق آفلاین به کار می‌روند.

نویسندگان مسئلهٔ هم‌ترازی مجدد ایمنی را به‌صورت یک تصویرسازی KL صورت‌بندی می‌کنند. در تحلیل آن‌ها، توزیع پاسخ‌های پذیرفته‌شده با فیلترِ خود دانش‌آموز از نظر KL بهینه است؛ هدف‌های معلم، اگر با این توزیع تفاوت داشته باشند، هزینهٔ KL اضافی ایجاد می‌کنند. چکیده همچنین می‌گوید پژوهشگران کرانی برای اعوجاج هدف ناشی از هدایت ارائه می‌کنند و شرطی کافی برای کاهش میانگین آن به دست می‌آورند؛ متن در دسترس جزئیات این شرط را بیان نمی‌کند.