P-ContextBench توانایی مدل‌های زبانی در فهم زمینهٔ شخصی را می‌سنجد

پژوهشگران در پیش‌چاپی در arXiv، بنچمارک P-ContextBench را برای ارزیابی توانایی مدل‌های زبانی بزرگ در فهم زمینهٔ شخصی معرفی کرده‌اند. به‌گفتهٔ پژوهشگران، سنجش استفادهٔ ایمن از این اطلاعات دشوار است، چون داده‌های شخصی خصوصی، پراکنده، متغیر و وابسته به روابط اجتماعی‌اند.

P-ContextBench شخصیت‌های دیجیتال را بر پایهٔ داستان زندگی و الگوهای جمعیتی برگرفته از جمعیت آمریکا می‌سازد. ویژگی‌ها، عادت‌ها، هدف‌ها و محدودیت‌های هر شخصیت به‌صورت ضمنی در میان سوابق ساختگی و متغیر اپلیکیشن‌های موبایل پخش شده‌اند؛ بنابراین مدل‌ها به‌جای استخراج پاسخ از یک پروفایل صریح و ثابت، باید شواهد را از این سوابق بازیابی کنند. چکیدهٔ منتشرشده می‌گوید این بنچمارک پنج توانایی را می‌سنجد، اما در متن در دسترس فقط به بازیابی واقعیت از یک منبع و از چند منبع اشاره شده است.