معیار CST-Bench توانایی مدل‌های چندوجهی در استدلال دربارهٔ تغییرات فضایی را می‌سنجد

بیشتر بنچمارک‌های استدلال فضایی، درک صحنه‌های ثابت را می‌سنجند. اما وقتی شیئی جابه‌جا یا با شیء دیگری عوض می‌شود، مدل باید فراتر از تشخیص رابطه‌های فضایی برود و استنباط کند که مداخله چه تغییری در صحنه ایجاد کرده است. پژوهشگران در مقاله‌ای پیش‌چاپ در arXiv، بنچمارکی به نام CST-Bench برای ارزیابی این توانایی معرفی کرده‌اند.

CST-Bench شامل ۷٬۰۸۲ نمونه است که شش نوع مداخله و ۱۲ عملگر تبدیل را پوشش می‌دهد. نمونه‌ها با اطلاعات علّی از جمله منشأ مداخله، رابطه‌های متأثر، پیامدهای مورد انتظار، رابطه‌های ثابت‌مانده و تغییرات اندازه‌گیری‌شده همراه‌اند. ارزیابی مدل‌های چندوجهی عمومی و مقایسهٔ روش‌های پس‌آموزش روی این بنچمارک و معیارهای متعارف استدلال فضایی نشان داد روش‌هایی که در مسائل معمول فضایی مؤثرند، ممکن است در برابر مداخله‌های خلاف‌واقع ناکام بمانند.

پژوهشگران همچنین مسئله را به‌صورت مدل‌سازی گذار علّی حالت صورت‌بندی و روش CT-OPSD را پیشنهاد کرده‌اند. در این روش، حاشیه‌نویسی‌های CST-Bench به یک مدل معلم کمک می‌کند گذارهای خلاف‌واقع میان حالت‌ها و زنجیره‌های استدلال علّی را بیاموزد؛ سپس این زنجیره‌ها به مدل دانش‌آموز منتقل می‌شوند تا از مشاهده‌های واقعی استدلال کند. نویسندگان CST-Bench را بنچمارکی چالش‌برانگیز و منبعی برای نظارت آموزشی معرفی می‌کنند و CT-OPSD را نمونه‌ای اولیه از کاربرد این داده‌ها برای بهبود مدل‌ها می‌دانند.