امنیت سایبری

حملهٔ «Slot Attack» می‌تواند مدل‌های تصمیم‌گیر را به گزینهٔ نادرست بکشاند

پژوهشی پیش‌چاپ روی هفت مدل نشان می‌دهد افزودن متن به شواهد ورودی می‌تواند پیش‌بینی را به سمت پاسخی نادرست، اما مجاز، منحرف کند.

۱ دقیقه مطالعه
Figure 2: Chat reduces gpt-6-luna’s targeted ASR from 88.2% to 76.5% and full control from 77.2% to 45.2% at reasoning effort none, but neither wrapper prevents attacks. Panels show (a) ASR and transfer, (b) full control
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپی با عنوان «JevBreak: Your Model, Their Decision» روشی به نام Slot Attack معرفی کرده‌اند که بدون دسترسی داخلی به مدل، متن‌هایی را به شواهد ورودی می‌افزاید تا مدل را به انتخاب گزینهٔ نادرستِ مدنظر مهاجم سوق دهد. این حمله فقط به احتمال‌هایی متکی است که مدل برای برچسب‌های پاسخ برمی‌گرداند.

ارزیابی روی هفت مدل تصمیم‌گیر، شامل سرویس‌های میزبانی‌شده، مدل‌های دارای وزنِ باز و یک encoder، انجام شد. پژوهشگران ۱۶ وظیفه در هفت حوزه از Decision Bench را بررسی کردند و در ۲۴۰ نمونهٔ متنی، همهٔ گزینه‌های نادرست را هدف گرفتند؛ در مجموع، برای هر مدل ۹۹۰ هدف آزموده شد. بر اساس چکیدهٔ در دسترس، نرخ موفقیت حمله در نمونه‌هایی که در ابتدا پاسخ درست داشتند، بین ۳۲ تا ۹۹ درصد گزارش شده است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست