LUCA برای سنجش روند استدلال عامل‌های هوش مصنوعی، نه فقط نتیجه، طراحی شده است

پژوهشگران در پیش‌چاپی در arXiv، LUCA را معرفی کرده‌اند؛ جهانی مصنوعی و پیکربندی‌پذیر برای ارزیابی این‌که عامل‌های هوش مصنوعی چگونه به نتیجه می‌رسند. به‌گفتهٔ نویسندگان، ارزیابی‌ها معمولاً بر نتیجه تمرکز دارند، نه آزمایش‌ها، شواهد و استنباط‌هایی که آن نتیجه را ساخته‌اند. LUCA با فراهم‌کردن حقیقت مبنای کاملاً مشخص، امکان بررسی جداگانهٔ این مراحل را می‌دهد.

در این محیط، عامل‌ها با بودجهٔ محدود آزمایش می‌کنند تا سامانه‌های تنظیمی ناشناخته را بیاموزند؛ سپس باید مداخله‌های مشاهده‌نشده را پیش‌بینی کنند، عیب‌های پنهان را تشخیص دهند و برای رفع آن‌ها بکوشند. پژوهشگران این چارچوب را روی هفت مدل زبانی بزرگ پیشرفته و سه خط مبنا آزموده‌اند و گزارش می‌کنند که توانایی‌های مورد سنجش به‌شدت از هم جدا می‌شوند. برای نمونه، عامل‌ها اغلب می‌توانند سامانهٔ دچار اختلال را نجات دهند، درحالی‌که عیب را اشتباه تشخیص داده‌اند. عملکرد تشخیص نیز، بنا بر چکیده، میان مدل‌ها تا هفت برابر تفاوت دارد.