پیش‌بینیِ باورپذیر برای تصمیم ایمن کافی نیست

پژوهشگران در پیش‌چاپی در arXiv مفهوم «کفایت ایمنی» را برای مدل‌های جهانِ وب مطرح کرده‌اند: رابط پیش‌بینی باید اطلاعات تعیین‌کننده برای سیاست ایمنی را حفظ و آشکار کند تا عامل بتواند میان سه گزینه تمایز بگذارد—اجرای کنش (EXECUTE)، درخواست توضیح بیشتر (ASK) یا مسدودکردن آن (BLOCK).

در ارزیابی انسانیِ ۳۰۰۰ پیش‌بینی از ۱۰ مدل متن‌بازِ ثابت، ۸۶٫۱ درصد پیش‌بینی‌ها از نظر معنایی باورپذیر ارزیابی شدند. بااین‌حال، به‌گفتهٔ چکیدهٔ پژوهش، رفتار مجوزدهی برخی مدل‌ها نامتوازن بود: این مدل‌ها به‌ندرت اجرای ناایمن را مجاز می‌دانستند، اما در شناسایی مواردی که با پرسش و روشن‌سازی قابل حل بود عملکرد ضعیفی داشتند و گرایش زیادی به مسدودکردن نشان می‌دادند.

چکیده از معرفی چارچوبی به نام SafeWebWorld خبر می‌دهد، اما اطلاعات ارائه‌شده دربارهٔ روش و نتایج آن جزئیات بیشتری ندارد.