هوش مصنوعی

چارچوبی برای تنظیم‌پذیر کردن ایمنی مدل‌های زبانی در زمان اجرا

پژوهشگران UpSafe°C را معرفی کرده‌اند؛ روشی که با افزودن متخصصان ایمنی به ساختار Mixture-of-Experts و تنظیم «دمای ایمنی»، امکان تغییر تعادل میان ایمنی و کارایی را فراهم می‌کند.

۱ دقیقه مطالعه
Figure 1: Overall framework of our UpSafe℃ . We first scan the pretrained LLM to identify safety-critical layers, then upcycle them with safety experts through a two-stage SFT strategy, and finally apply a safety tempera
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در مقاله‌ای که در arXiv منتشر شده و به پذیرش NeurIPS 2026 رسیده است، چارچوب UpSafe°C را برای تقویت ایمنی مدل‌های زبانی بزرگ معرفی کرده‌اند. این روش لایه‌های حساس به ایمنی را شناسایی و به ساختار تنک Mixture-of-Experts تبدیل می‌کند؛ در این ساختار، روتر به‌عنوان نوعی محافظ نرم، فعال‌سازی شبکه‌های MLP اصلی یا متخصصان ایمنیِ افزوده‌شده را انتخاب می‌کند.

این چارچوب همچنین از راهبردی دومرحله‌ای برای نظارت دقیق (SFT) بهره می‌برد تا توانایی تشخیص محتوای ناایمن را تقویت کند و در عین حال قابلیت‌های عمومی مدل را حفظ کند. پژوهشگران برای کنترل هنگام اجرا، سازوکاری به نام «دمای ایمنی» نیز پیشنهاد کرده‌اند که به گفتهٔ آن‌ها امکان تنظیم تعادل میان ایمنی و کارایی را می‌دهد.

بر اساس چکیدهٔ مقاله، آزمایش‌ها روی چندین معیار ارزیابی، مدل پایه و مقیاس مختلف، بهبود ایمنی در برابر ورودی‌های زیان‌بار و حملات jailbreak را نشان داده‌اند؛ عملکرد مدل‌ها در وظایف عمومی نیز رقابتی باقی مانده است. نویسندگان این رویکرد را حرکتی از هم‌ترازی ایستا به‌سوی کنترل پویا و ماژولار در زمان استنتاج توصیف می‌کنند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست