GENSTRAT؛ سامانه‌ای برای سنجش استدلال راهبردی مدل‌های زبانی

پیش‌چاپی در arXiv سامانه‌ای به نام GENSTRAT معرفی می‌کند که توانایی استدلال راهبردی مدل‌های زبانی بزرگ را با بازی‌های دونفرهٔ حاصل‌جمع صفر و دارای اطلاعات ناقص می‌سنجد. برخلاف مجموعه‌های بازی ثابت که ممکن است به‌مرور اشباع شوند و از آلودگی داده‌ای در امان نمانند، GENSTRAT بازی‌های تازه را به‌صورت رویه‌ای تولید می‌کند تا ارزیاب بتواند هر بار نمونه‌های جدیدی در اختیار داشته باشد.

این سامانه بازی‌ها را بر پایهٔ پنج محور پیچیدگی—فضای حالت، وابستگی به رویدادهای زمانی، وابستگی به حریف، اطلاعات خصوصی و دقت—مشخص می‌کند و آن‌ها را با شبیه‌سازی مونت‌کارلو می‌سنجد. پژوهشگران با استفاده از مولد، بنچمارکی شامل ۵۰ بازی ساختند و میان ۱۲ مدل پیشرفته و دارای وزن‌های در دسترس مسابقه‌ای برگزار کردند که بیش از ۴۰ هزار بازی رودرروی مدل‌ها را دربر گرفت. چکیدهٔ در دسترس دربارهٔ نتایج این مسابقات جزئیات بیشتری ارائه نمی‌کند.