CIRCE دشواری وظایف مدل‌های زبانی را از روی ساختار محدودیت‌ها برآورد می‌کند

پژوهشگران در پیش‌چاپی در arXiv، روشی به نام CIRCE معرفی کرده‌اند که هدفش برآورد دشواری یک مسئله برای مدل زبانی بزرگ (LLM) پیش از آن است که مدل برای حل آن اقدام کند. چنین برآوردی می‌تواند در مسیریابی وظایف میان مدل‌ها، تخصیص محاسبات هنگام استنتاج و تشخیص نیاز به ابزارهای تازه برای عامل‌های هوش مصنوعی به کار بیاید.

به‌گفتهٔ نویسندگان، روش‌های پیشین عمدتاً به متن مسئله، برچسب‌های دشواریِ حاشیه‌نویسی‌شده با کمک LLM یا نشانه‌هایی متکی‌اند که پس از تلاش مدل برای حل مسئله به دست می‌آیند؛ مانند حالت‌های پنهان آن. CIRCE به‌جای این رویکردها، ساختار محدودیت‌های مسئله را در نظر می‌گیرد: متغیرهایی که باید مقداردهی شوند و نحوهٔ تعامل محدودیت‌های مرتبط با آن‌ها.

این روش از یک LLM کم‌هزینه برای ساخت «بازنمایی میانی محدودیت» (Constraint Intermediate Representation) استفاده می‌کند؛ بازنمایی‌ای که به‌طور قطعی به گراف محدودیت تبدیل می‌شود. چکیدهٔ ارائه‌شده می‌گوید ارزیابی CIRCE روی هفت مجموعه انجام شده، اما بخش موجود از منبع نام مجموعه‌ها و نتایج کمی را مشخص نمی‌کند.