هوش مصنوعی
فشرده‌سازی متن می‌تواند توان مدل‌های زبانی در رد درخواست‌های نامناسب را تضعیف کند
پژوهشی تازه نشان می‌دهد حفظ معنای ورودی پس از فشرده‌سازی لزوماً به حفظ رفتارهای ایمنی مدل منجر نمی‌شود؛ روشی به نام Memory Steering این اثر را تا نزدیک سطح اولیه کاهش داده است.
پژوهشگران در پیش‌چاپی در arXiv گزارش کرده‌اند که فشرده‌سازی مبتنی بر رمزگذار، با وجود بازسازی دقیق معنا، رفتار امتناع در مدل‌های زبانی آموزش‌دیده با دستور را به‌طور نظام‌مند تضعیف می‌کند. این اثر در چند خانوادهٔ مدل و معماری فشرده‌سازی مشاهده شده است.
بررسی سازوکار این پدیده نشان می‌دهد فشرده‌سازی، فعال‌سازی در راستای موسوم به «جهت امتناع» را در رمزگشای مدل کاهش می‌دهد. نویسندگان همچنین روشی سبک به نام Memory Steering را آزمایش کرده‌اند که هنگام استنتاج، بدون بازآموزی و در فضای بازنمایی فشرده، نرخ امتناع را به نزدیکی سطح پایه بازمی‌گرداند.
نتیجهٔ اصلی پژوهش این است که حفظ معنای ورودی به‌تنهایی برای حفظ رفتارهای همسو با ایمنی کافی نیست و سامانه‌های فشرده‌سازی باید ویژگی‌های مرتبط با هم‌راستایی را نیز صریحاً حفظ کنند. این مقاله در Canadian AI 2026 ارائه شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده