پژوهشگران رفتار عامل‌های زبانی را در برابر اجرای کد نامطمئن سنجیدند

پژوهشی در arXiv چارچوبی برای ارزیابی عامل‌های مبتنی بر مدل‌های زبانی بزرگ در محیط‌های کاری نامطمئن معرفی می‌کند؛ جایی که اجرای کد مخرب ممکن است در جریان کارهای عادی رخ دهد، بی‌آنکه گزارش نهایی عامل یا وضعیت فضای کاری به‌تنهایی وقوع آن را روشن کند.

این چارچوب رفتار عامل را در چهار مرحلهٔ مشاهده، استدلال، اجرا و پاسخ بررسی می‌کند و نتیجه را با ثبت‌های مستقل محیط تطبیق می‌دهد تا سابقهٔ اجرا بازسازی و گزارش نهایی راستی‌آزمایی شود. پژوهشگران آن را در سناریوی «سایه‌اندازی ماژول» آزمودند: در این روش، هنگام import یک فایل محلی جای ماژول مورداعتماد را می‌گیرد و می‌تواند کد نامطمئن را اجرا کند؛ این کار به‌دستورهای خصمانه در prompt نیاز ندارد.

در ۹۰ آزمایش با ۱۵ مدل، payload در ۵۱ درصد آزمایش‌های سایه‌اندازی مستقیم و ۸۷ درصد آزمایش‌های سایه‌اندازی غیرمستقیم اجرا شد. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج ارائه نمی‌کند.