پژوهشگران برای سنجش درک مفهومی مدل‌های استدلالی، ۱۶۰۰ معمای تازه ساختند

پژوهشگران در پیش‌چاپی در arXiv مجموعه‌ای به نام ConceptARC-100 معرفی کرده‌اند تا بررسی کنند مدل‌های استدلالی بزرگ (LRM) تا چه حد می‌توانند مفاهیم مشترک را در معماهای متفاوت تعمیم دهند. این مجموعه ۱۶۰۰ وظیفهٔ تازه و بازبینی‌شده دارد: برای هر یک از ۱۶ مفهوم ConceptARC، صد وظیفه ساخته شده است؛ ده برابر اندازهٔ بنچمارک اولیه.

در معماهای ARC، مدل باید با دیدن چند نمونه، قاعدهٔ تبدیل را در شبکه‌های دوبعدی پیدا کند. ConceptARC بر ساختارهای مفهومی مشترک میان وظایف تمرکز دارد؛ برای مثال، مسئله‌هایی که در آن‌ها یک شیء درون شیئی دیگر قرار گرفته است. پژوهشگران با ارزیابی مدل‌های استدلالی جدید و مدل‌هایی که از ابتدا روی ConceptARC-100 آموزش دیده‌اند، بررسی کردند کدام مفهوم‌ها برای مدل‌ها آسان‌تر یا دشوارتر است.

تحلیل بازنمایی‌های درونی مدل‌ها نشان داد وظایف بر اساس عملیات انجام‌شده روی اشیا، از جمله تغییر رنگ، حذف یا جابه‌جایی، خوشه‌بندی می‌شوند؛ حتی وقتی قواعد و سناریوهای اجرای این عملیات تفاوت زیادی دارند. نویسندگان این نتیجه را نشانه‌ای می‌دانند از اینکه مدل‌ها بازنمایی‌های نسبتاً پایداری از عملیات تبدیل می‌سازند که میان وظایف گوناگون قابل تعمیم است.