ممیزی دو سامانهٔ هوش مصنوعی می‌سنجد آیا ماژول‌های شناختی واقعاً اجرا می‌شوند

پژوهشی تازه در arXiv می‌پرسد آیا سامانه‌های عامل‌محور مبتنی بر مدل‌های زبانی بزرگ، محاسباتی را که با نام‌هایی مانند «فضای کاری جهانی»، «نظریهٔ ذهن» و «استدلال علّی» معرفی می‌کنند واقعاً انجام می‌دهند یا فقط این نام‌ها را در فهرست قابلیت‌هایشان آورده‌اند.

نویسندگان یک روش ممیزی ایستا با چهار پرسش پیشنهاد کرده‌اند که شواهد را با شمارهٔ خط و دنبال‌کردن زنجیرهٔ فراخوانی توابع بررسی می‌کند. آن‌ها این روش را روی دو سامانه نشان داده‌اند؛ یکی از سامانه‌ها مدعی داشتن ۲۵ سازوکار شناختی است. پژوهشگران برای ۱۱ ماژول پیش‌بینی‌های ابطال‌پذیر را از پیش ثبت کرده و مداخلات متناظر را اجرا کرده‌اند. چکیدهٔ در دسترس توضیح نمی‌دهد این آزمون‌ها چه نتایجی داشته‌اند.