امتیاز اطمینان یک سامانهٔ پرس‌وجوی متنی از پایگاه داده، پاسخ درست را به‌خوبی تشخیص نمی‌دهد

پژوهشگران در یک مطالعهٔ اکتشافی روی ۱٬۵۳۴ پرسش از بخش توسعهٔ BIRD، پاسخ‌های GPT-5.1 را با پنج نمونه برای هر پرسش بررسی کردند. امتیاز اطمینان طراحی‌شده برای این سامانه، پاسخ‌های درست را از پاسخ‌های نادرست فقط با قدرتی محدود جدا کرد: AUROC آن ۰٫۶۲۴ بود. همچنین سامانه ۳۵٫۷ درصد از پاسخ‌های درست را کنار گذاشت.

این امتیاز در یک سامانهٔ تحلیل محاوره‌ای قرار است تعیین کند پاسخ پایگاه داده نمایش داده شود، همراه هشدار بیاید یا پنهان بماند. چکیدهٔ پیش‌چاپ می‌گوید تقریباً تمام توان رتبه‌بندی امتیاز از میزان توافق میان نمونه‌های پاسخ‌گویی می‌آید؛ اما متن در دسترس پیش از توضیح کامل این نتیجه قطع می‌شود. عنوان مقاله همچنین از یک تأیید ازپیش‌ثبت‌شده روی Spider خبر می‌دهد، ولی جزئیات آن در چکیدهٔ ارائه‌شده نیامده است.