چارچوبی تازه برای سنجش توانایی مدل‌های زبانی در ارزیابی پاسخ‌های خود

پژوهشگران در پیش‌چاپی تازه چارچوبی نظری و تجربی برای بررسی این پرسش ارائه کرده‌اند که آیا مدل‌های زبانی بزرگ (LLM) می‌توانند پاسخ‌های خود را قابل‌اعتماد ارزیابی کنند یا نه. این چارچوب می‌سنجد مدل تا چه حد پاسخ درست را از نادرست تشخیص می‌دهد و آیا میزان اطمینانی که اعلام می‌کند با نرخ موفقیت واقعی‌اش هم‌خوان است.

این روش با تکیه بر نظریهٔ کلاسیک Vapnik–Chervonenkis (VC)، دو معیار برای پیش‌بین‌های احتمالاتی پیشنهاد می‌کند: Probabilistic VC (PVC)، برای سنجش توانایی مدل در طبقه‌بندی مطمئن در انواع مسئله‌ها، و Calibration-aware PVC (C-PVC)، که علاوه‌بر آن، هم‌خوانی امتیاز اطمینان با موفقیت واقعی را نیز می‌سنجد. چکیدهٔ در دسترس به مقایسهٔ این معیارها با Expected Calibration Error (ECE) و Actual Error (AE) اشاره می‌کند، اما توضیح این مقایسه در متن ارائه‌شده ناتمام است.