SPILLWAY مسیر ارسال داده و پول را در عامل‌های هوش مصنوعی محدود می‌کند

عامل‌های هوش مصنوعیِ متصل به ایمیل، فایل‌ها و ابزارهای پرداخت ممکن است با دستورهای مخفی در یک صفحهٔ وب یا سند مشترک فریب بخورند و اطلاعات یا پول را به مهاجم بفرستند. مقالهٔ پیش‌چاپ SPILLWAY روشی برای محدودکردن این خطر معرفی می‌کند که تصمیم نهایی دربارهٔ مقصد اقدام را به مدل زبانی واگذار نمی‌کند.

ایدهٔ روش بر تفاوت میان داده‌های ساخت‌یافته و متن آزاد تکیه دارد: برای نمونه، فرستندهٔ ایمیل یا حساب مقصد پرداخت در فیلدهای مشخصِ خروجی ابزار می‌آید، درحالی‌که دستور تزریق‌شده در متن آزاد قرار می‌گیرد. SPILLWAY اجازهٔ فراخوانی ابزار را می‌دهد اگر هر مقدارِ مربوط به مقصد که در خروجی ابزار دیده شده اما در درخواست کاربر نبوده، از ابزار فقط‌خواندنی و در فیلدی ساخت‌یافته آمده باشد یا مشمول یک قاعدهٔ ثابتِ واگذاری اختیار باشد.

این سامانه همچنین پیش از آن‌که مدل متن را بخواند، بخش‌هایی را که قواعد ثابتش دستورگونه تشخیص می‌دهند حذف می‌کند و نسخهٔ حذف‌شده را برای بررسی نگه می‌دارد. یک داور محلی می‌تواند فراخوانیِ ردشده را دوباره مجاز کند، اما نه اگر مقصد آن در متن حذف‌شده آمده باشد.

در آزمون‌های گزارش‌شده، SPILLWAY در سه مدل پایه و هفت مجموعه‌وظیفه روی یکی از آن‌ها، هیچ‌یک از حمله‌های تزریقِ قالبیِ استاندارد را در تغییر مقصد اقدام به نفع مهاجم موفق ندید. نویسندگان می‌گویند این روش در همان حمله‌ها بالاترین میانگینِ سودمندی و امتیاز ترکیبیِ NRP و ERS را میان دفاع‌های آزمایش‌شده داشت. در حملهٔ قالب جعلیِ چت نیز نتیجهٔ خام صفر بود و نرخ موفقیت میانگین حمله‌های درون‌دامنه با مهاجمِ آموزش‌دیده با یادگیری تقویتی ۰٫۰۰۷ گزارش شد. مقاله می‌گوید این سطح دفاع بدون اجرای دوبارهٔ مدل پایه به‌دلیل فعال‌شدن دفاع و با تقریباً هیچ فراخوانی مدلِ اضافه‌ای به دست آمد.

این نتایج به حمله‌ها و ارزیابی‌های گزارش‌شده در مقاله محدود است؛ منبع، تضمینی برای جلوگیری از همهٔ شکل‌های تزریق ارائه نمی‌کند. نسخهٔ معرفی‌شده در arXiv پیش‌چاپ است و مقاله می‌گوید نسخه‌ای پیشین در کارگاهی از NeurIPS 2026 پذیرفته شده بود.