StateBench توانایی مدل‌ها در پیگیری تغییرات اطلاعات در متن‌های طولانی را می‌سنجد

State tracking یعنی دنبال‌کردن تغییر وضعیت افراد، اشیا یا متغیرها در طول یک متن. برای نمونه، فهم این‌که چه کسی چاقو را در اختیار دارد، ممکن است به یادآوری چند رویداد پیاپی نیاز داشته باشد: ابتدا چاقو در کوله‌پشتی جان گذاشته شده و سپس جان آن را به ماری داده است. از دست‌رفتن هر حلقهٔ این زنجیره می‌تواند پاسخ نهایی را تغییر دهد.

Hugging Face می‌گوید StateBench برای سنجش این توانایی در مسئله‌هایی با سطوح مختلف پیچیدگی طراحی شده است. برخی پرسش‌ها فقط یافتن آخرین تغییر را می‌طلبند؛ برخی دیگر به پیگیری زنجیره‌ای از تغییرات وابسته‌اند. بنچمارک چهار سطح دشواری دارد که هرکدام عملیات پیچیده‌تری برای به‌روزرسانی وضعیت در نظر می‌گیرند.

به‌گفتهٔ پژوهشگران، Transformerها در گونه‌های دشوارترِ پیگیری وضعیت با زنجیره‌های وابستگی طولانی محدودیت‌های نظری دارند. این مسئله به توجه به معماری‌های recurrent و hybrid، از جمله Gated DeltaNet، کمک کرده است؛ معماری‌هایی که حافظهٔ جاری را در طول ورودی پیش می‌برند. سازندگان StateBench می‌گویند این آزمون برای مقایسهٔ معماری‌ها در مسئله‌های ساده‌تر و دشوارتر طراحی شده است، نه فقط در سخت‌ترین حالت‌ها.

نتایج گزارش‌شده نشان می‌دهد مدل‌های recurrent و hybrid، وقتی مستقیماً روی این وظایف آموزش می‌بینند، می‌توانند فراتر از Transformerها تعمیم دهند. بااین‌حال، حتی مدل‌های پیشرفته‌ای که منبع نام می‌برد—Gemini 3.8 Flash، Claude Opus 5.5 و GPT-6 Sol و Luna—با طولانی‌ترشدن ورودی در شکل‌های دشوارتر پیگیری وضعیت دچار افت می‌شوند.