هوش مصنوعی
ReplayRCA خطای عامل‌های هوش مصنوعی را با «اصلاح علّی» می‌سنجد
بنچمارک پیشنهادی به‌جای سنجش توافق مدل تشخیص‌دهنده با برچسب‌ها، بررسی می‌کند که جایگزینی یک اقدام واقعاً به موفقیت ادامهٔ کار منجر می‌شود یا نه.
پیش‌چاپی در arXiv با معرفی ReplayRCA روشی برای ارزیابی تشخیص خطاهای عامل‌های زبانی در وظایف چندمرحله‌ای پیشنهاد می‌کند. در این روش، محیط به وضعیت پیش از گام انتخاب‌شده بازمی‌گردد، اقدام پیشنهادی مدل تشخیص‌دهنده جای اقدام عامل را می‌گیرد و همان عامل ادامهٔ کار را انجام می‌دهد.
امتیاز «اصلاح علّی» از تفاوت نرخ موفقیت ادامهٔ کار با اقدام پیشنهادی و نرخ موفقیت در یک حالت کنترل به دست می‌آید؛ در حالت کنترل، اقدام اصلی عامل از همان سازوکار بازپخش می‌شود. مقاله دو مسیر ارزیابی را معرفی می‌کند: کالبدشکافی پس از اجرا، که در آن مدل کل اجرای ناموفق را می‌بیند و از شکست آن باخبر است، و نظارت زنده، که در آن ناظر روند اجرا را دنبال می‌کند. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ مسیر دوم ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده