هوش مصنوعی
MemHarmBench خطر تزریق پرامپت بین‌جلسه‌ای به عامل‌های هوش مصنوعی را می‌سنجد
این بنچمارک به‌جای تمرکز صرف بر موفقیت حمله، بررسی می‌کند دستورهای مخربِ ذخیره‌شده در حافظه در استفاده‌های بعدی چه کسانی را متأثر می‌کنند.
پژوهشگران در پیش‌چاپی در arXiv، MemHarmBench را معرفی کرده‌اند؛ بنچمارکی برای ارزیابی تزریق پرامپت بین‌جلسه‌ای در عامل‌های هوش مصنوعی دارای حافظهٔ پایدار. این عامل‌ها برای نگه‌داشتن ترجیحات کاربران و قواعد اجرایی از حافظه استفاده می‌کنند، اما ممکن است دستورهای مخربِ موجود در پیام‌ها، اسناد یا محتوای وب را نیز ذخیره کنند. در این صورت، حتی پس از حذف محتوای اولیهٔ حمله، دستورها می‌توانند بر وظایف آینده اثر بگذارند.
به‌گفتهٔ نویسندگان، معیارهای رایج موفقیت حمله نشان نمی‌دهند چه کسی آسیب می‌بیند یا حمله هنگام اجرای عادی وظایف به چه پیامدهایی می‌انجامد. MemHarmBench رویکردی «قربانی‌محور» دارد و سه گروه را در نظر می‌گیرد: کاربران، مالکان فضای کاری یا پروژه، و ذی‌نفعان بیرونی. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ روش ارزیابی یا نتایج بنچمارک ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده