تزریق غیرمستقیم پرامپت می‌تواند نتیجهٔ کار عامل هوش مصنوعی را دست‌کاری کند

پژوهشگران در پیش‌چاپی در arXiv، بنچمارکی برای سنجش حمله‌هایی معرفی کرده‌اند که به‌جای منحرف‌کردن عاملِ مجهز به ابزار به سمت وظیفه‌ای دیگر، نتیجهٔ همان کاری را تغییر می‌دهند که در حال انجامش است. برای نمونه، مدرکِ دست‌کاری‌شدهٔ یک خریدار می‌تواند با استناد به سیاست بازپرداختی جعلی، مبلغ بازپرداخت را بالا ببرد؛ بدون آن‌که وظیفهٔ عامل تغییر کند.

این بنچمارک ۹۰ مورد اعتبارسنجی‌شده در سه محیط استفاده از ابزار را دربرمی‌گیرد. در هر مورد، درخواست کاربر مشخص می‌کند کدام منبع باید تصمیم موردنظر را تعیین کند. پژوهشگران حمله را بر اساس اختیار منبع تعریف می‌کنند: محتوای کاشته‌شده زمانی حمله است که بکوشد بر تصمیمی اثر بگذارد که منبع آن اجازهٔ تعیینش را ندارد. حمله‌ها می‌توانند هدف، قواعد تصمیم‌گیری، اقدامات در دسترس، پیامدهای مورد انتظار، تفسیر مشاهدات یا باور عامل دربارهٔ وضعیت جاری را دست‌کاری کنند.

در آزمایش با پنج مدل زبانی بزرگ، حمله به قواعد تصمیم‌گیری، اقدامات در دسترس و وضعیت جاری، به‌طور میانگین در سه مورد از پنج هدف دیگر موفق‌تر از حمله به هدف عامل بود. دفاع مبتنی بر شناسایی و حذف، موفقیت حمله‌های متوجه هدف را به ۲٫۴ درصد رساند، اما نرخ موفقیت حمله به تفسیر مشاهدات و وضعیت جاری به‌ترتیب ۹٫۵ و ۱۲٫۱ درصد باقی ماند؛ این شکاف پس از بازنویسی حمله‌ها برای بهینه‌سازی شناسایی نیز پابرجا بود.

دفاع مبتنی بر سیاست ابزار هم نرخ موفقیت حمله را به ۱۵٫۴ درصد رساند؛ نزدیک به ۱۷ درصدِ حالت بدون دفاع. به‌گفتهٔ پژوهشگران، دلیل این مقاومت آن است که حمله‌ها معمولاً ابزارهای مورد انتظار را حفظ می‌کنند و مقادیر به‌دست‌آمده هنگام اجرا را دست‌کاری می‌کنند. بنابراین، ارزیابی‌هایی که فقط تغییر وظیفه یا هدف عامل را می‌سنجند، ممکن است پوشش دفاع‌ها را بیش از واقع برآورد کنند.