هوش مصنوعی

چارچوب R³ با به‌خاطر سپردن شکست‌ها، حمله‌های چندمرحله‌ای را مؤثرتر می‌کند

پژوهشگران می‌گویند این روش در آزمون روی شش مدل زبانی، نرخ موفقیت حمله را در برخی مقایسه‌ها تا ۵۳ درصد افزایش داده است.

۲ دقیقه مطالعه
Figure 1: R 3 R^{3} framework (left) and an example representing the process (right). At each turn i i , an attacker generates action A i A_{i} and interacts with a target. The state maintainer updates a compact state S
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپی در arXiv چارچوبی به نام R³، کوتاه‌شدهٔ Reject, Remember, Retry، معرفی می‌کند که برای بهبود حمله‌های چندمرحله‌ای به مدل‌های زبانی طراحی شده است. برخلاف روش‌هایی که مهاجم و مدل هدف را بر پایهٔ تاریخچهٔ یکسان گفتگو پیش می‌برند، R³ به‌جای متن کامل گفتگو، از یک وضعیت فشرده استفاده می‌کند. این وضعیت، دلیل ناکامی تلاش‌های قبلی را نیز نگه می‌دارد.

در این روش، نوبت‌هایی که امتیاز خطر حمله را بالا نمی‌برند از زمینهٔ گفتگوی مدل هدف حذف می‌شوند، اما مهاجم آن‌ها و علت شکستشان را به خاطر می‌سپارد؛ پژوهشگران این سازوکار را «حافظهٔ نامتقارن» می‌نامند.

بر اساس چکیدهٔ مقاله، R³ روی دو بنچمارک و شش مدل زبانی هدف، با بودجهٔ پرس‌وجوی برابر، در معیار ASR@5 تا ۵۳ درصد از روش‌های پایهٔ پیشرفته بهتر عمل کرده است. همچنین مهاجم کم‌توانی که از وضعیت فشردهٔ R³ بهره می‌برد، در همین معیار تا ۳۴ درصد از مهاجمان پرتوانی که این سازوکار را ندارند پیشی گرفته است. چکیده می‌گوید بررسی‌های حذف مؤلفه‌ها بخش عمدهٔ بهبود را به «r» نسبت می‌دهند، اما متن موجود عبارت را در همین نقطه ناتمام می‌گذارد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست