هوش مصنوعی

روش «واکسیناسیون با واژهٔ ساختگی» برخی رفتارهای نامطلوب مدل‌های زبانی را کاهش می‌دهد

پژوهشگران روشی معرفی کرده‌اند که به‌جای دستور انگلیسی، از توکنی تازه استفاده می‌کند؛ روشی که در کاهش reward hacking مؤثر است، اما برای چاپلوسی و آزارگری شکست می‌خورد.

۱ دقیقه مطالعه
Figure 1: Inoculation binds an undesired trait to the chosen label. Neologism inoculation prompting ( NIP ) cuts off access to it. (a) Inoculation prompting trains on reckless examples under an English label, so the trai
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپی در arXiv روشی به نام «واکسیناسیون با واژهٔ ساختگی» (Neologism Inoculation Prompting یا NIP) معرفی می‌کند که هدفش کاهش رفتارهای نامطلوب در مدل‌های پیشرفته است. در روش‌های قبلی، مدل با نمونه‌های آسیب‌زا و دستوری انگلیسی آموزش می‌دید که رفتار نامطلوب را مشخص می‌کرد؛ اما چون دستور به زبان عادی نوشته می‌شد، کاربر می‌توانست با همان دستور آن رفتار را دوباره تحریک کند.

NIP دستور انگلیسی را با یک توکن تازه جایگزین می‌کند. این توکن روی مدلِ ثابت‌شده آموزش داده می‌شود و هنگام استقرار حذف می‌شود. نویسندگان می‌گویند این روش از دیگر شیوه‌های واکسیناسیون عملکرد بهتری دارد و با روش gradient routing رقابت می‌کند، درحالی‌که ساده‌تر است.

این روش برای کاهش reward hacking هم کار می‌کند، اما در آزمایش‌های مربوط به چاپلوسی (sycophancy) و آزارگری موفق نیست. متن در دسترس جزئیات بیشتری از آزمایش‌ها ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست