پژوهش: بنچمارک‌های ایمنی عامل‌های هوش مصنوعی لزوماً ایمنی را نمی‌سنجند

پژوهشگران در پیش‌چاپی در arXiv اعتبار چهار بنچمارک ایمنی عامل‌های هوش مصنوعی را بررسی کرده‌اند: R-Judge، InjecAgent، AgentHarm و AgentDojo. آن‌ها این آزمون‌ها را با پیاده‌سازی رسمی و امتیازدهی پیشنهادی نویسندگان روی حداکثر ۲۲ مدل اجرا کردند و برای سنجش توانایی عمومی، امتیازهای MMLU و GPQA را نیز با یک پروتکل واحد اندازه گرفتند.

نویسندگان می‌گویند یکی از مشکلات به معیار امتیازدهی مربوط است. در بنچمارکی که ردپای رفتار عامل را به‌صورت دودویی داوری می‌کند و از F1 استفاده می‌کند، سیاستی که همیشه پاسخ مثبت می‌دهد می‌تواند امتیازی برابر با ۲π/(۱+π) بگیرد. در R-Judge این امتیاز ۰٫۶۹۰ است؛ بالاتر از امتیاز پنج مدل از ۲۱ مدلی که واقعاً میان موارد تمایز قائل می‌شوند.

همچنین سه بنچمارک با پوشش گسترده، همان ۱۸ مدل را با ترتیب‌های متفاوت رتبه‌بندی کردند. چکیدهٔ در دسترس می‌گوید اختلاف رتبه‌ها به مصالحه‌ای میان معیارها مربوط است، اما جزئیات آن را توضیح نمی‌دهد. بنابراین این منبع، نتیجهٔ ممیزی را به‌عنوان هشداری دربارهٔ تفسیر امتیاز بنچمارک‌ها مطرح می‌کند، نه یک سنجهٔ واحد و قطعی برای ایمنی عامل‌ها.