پژوهش

ممیزی ۱۲ مدل تصمیم‌گیری نشان می‌دهد پاسخ‌ها به ترتیب گزینه‌ها حساس‌اند

پیش‌چاپی در arXiv، ۱٫۶۳۸ میلیون تصمیم مدل‌های دارای پاسخ‌های ساختاریافته را در سه بنچمارک سوگیری بررسی کرده است؛ چکیده از هم‌راستایی با کلیشه‌ها و اعتمادبه‌نفسی خبر می‌دهد که با ناپایداری پاسخ‌ها مرتبط است.

۱ دقیقه مطالعه
Figure 1: Official BBQ ambiguous-context bias scores s amb s_{\text{amb}} , per model (rows, Table 2 order) and category (columns). Zero means no systematic error toward either group; positive values mean the model’s err
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در این پیش‌چاپ، ۱۲ مدل تصمیم‌گیری System One را در نسخه‌های سازگارشدهٔ سه بنچمارک BBQ، CrowS-Pairs و SilverSpoon ارزیابی کرده‌اند. در این نوع مدل‌ها، به‌جای تولید متن، پاسخ‌های ساختاریافته و امتیازدار ارائه می‌شود؛ پاسخ‌هایی که ممکن است بدون دخالت انسان اجرا شوند. ممیزی در مجموع ۱٬۶۳۸٬۰۰۰ تصمیم را دربر می‌گیرد و یک نسخهٔ حذف‌شده از قابلیت «تفکر» مدل‌ها را نیز شامل می‌شود.

برای سنجش حساسیت به ترتیب، گزینه‌های هر پرسشِ حساس به ترتیب دو بار جابه‌جا شده‌اند. برچسب‌ها نیز در مدل‌هایی که پاسخ ساختاریافتهٔ بومی دارند جابه‌جا شده‌اند؛ افزون بر این، ۱۰ پیکربندی با seedهای بیشتر و اندازهٔ دستهٔ ۱۶ تکرار شده‌اند. چکیده از هم‌راستایی گسترده با کلیشه‌ها، وابستگی پاسخ‌ها به ترتیب گزینه‌ها و اعتمادبه‌نفسی خبر می‌دهد که بیش از آنکه با سوگیری همسو باشد، ناپایداری پاسخ را دنبال می‌کند. در بنچمارک BBQ، از ۱۴۳ امتیاز مدل-دسته، ۹۷ مورد [در متن ارائه‌شده، ادامهٔ نتیجه پس از این عدد نیامده است].

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست