معیار CLR-Bench توانایی عامل‌های خودتکامل‌یابنده در کشف قواعد پنهان را می‌سنجد

پیش‌چاپی در arXiv معیار CLR-Bench را برای ارزیابی عامل‌های خودتکامل‌یابنده معرفی می‌کند؛ عامل‌هایی که وضعیت پایدار خود را بر اساس بازخورد بازنویسی می‌کنند. پرسش اصلی این است که آیا آن‌ها می‌توانند قاعده‌ای را که از ابتدا به آن‌ها گفته نشده یاد بگیرند، یا صرفاً هر اصلاح را به فهرستی از استثناها اضافه می‌کنند.

در CLR-Bench، هر زنجیره در هر سطح یک قاعدهٔ پنهان تازه به قواعد قبلی اضافه می‌کند. قاعده دربارهٔ برچسبی مبهم است که به یک گروه نام‌گذاری‌شده در وب اشاره دارد؛ برای نمونه، اعضای بنیان‌گذار یک ائتلاف هواپیمایی. در تمرین، یک مقدار نمونه در اختیار عامل قرار می‌گیرد و بازخورد، یک عضو دیگر و یک مورد غیرعضو را آشکار می‌کند. سپس آزمون، اعضای دیده‌نشده و موارد غیرعضوِ مشابه را می‌سنجد.

چکیده می‌گوید آزمون‌هایی نیز برای تأیید آشنایی مدل پایه با اعضای هر گروه در نظر گرفته شده است؛ اما متن منبع در همین نقطه ناتمام است و جزئیات نتایج یا عملکرد عامل‌ها را ارائه نمی‌کند.