روشی برای کاهش وابستگی ایمنی مدل‌های زبانی به شمار کمی از نورون‌ها

پژوهشی تازه در arXiv روشی با نام «Addition by Subtraction» پیشنهاد می‌کند تا رفتار ایمن مدل‌های زبانی بزرگ کمتر به شمار کمی از اجزای حساس وابسته باشد. در این روش، پژوهشگران هنگام ریزتنظیم، نورون‌های شناسایی‌شده به‌عنوان حیاتی برای ایمنی را به‌تدریج حذف می‌کنند و با بهینه‌سازی ترجیحی می‌کوشند رفتار ایمن را از مسیرهای دیگری در مدل بازسازی کنند.

به‌گفتهٔ نویسندگان، این رویکرد مقاومت مدل‌ها را در برابر حمله‌هایی که با هرس اجزای مدل یا حذف جهتِ امتناع انجام می‌شوند افزایش داده و در برابر طیفی از حمله‌های جیل‌بریک جعبه‌سیاه نیز سودمند بوده است. آن‌ها همچنین از بهبود صداقت مدل‌ها و حفظ عمدهٔ توانایی‌های عمومی خبر می‌دهند. آزمایش‌ها روی چهار مدل از سه ارائه‌دهنده انجام شده و نرخ موفقیت حمله در برخی موارد تا ۹۰ درصد کاهش یافته است.

این مقاله پیش‌چاپ است و چکیدهٔ منتشرشده جزئیات بیشتری دربارهٔ روش آزمایش یا تفاوت نتایج میان مدل‌ها ارائه نمی‌کند.