پژوهشگران: نسبت‌دادن شکست عامل‌های هوش مصنوعی به سابقه‌شان به آزمون مداخله‌ای نیاز دارد

پژوهشگران در مقاله‌ای پیش‌چاپ استدلال می‌کنند توضیح‌های رایج دربارهٔ شکست عامل‌های هوش مصنوعی در کارهای طولانی، اغلب بر برچسب‌گذاری مسیرهای تکمیل‌شده تکیه دارند: داوری رونوشت را می‌خواند و علت شکست را نام‌گذاری می‌کند. به‌گفتهٔ نویسندگان، اگر ادعا این است که سابقهٔ عامل باعث رفتاری شده، باید آن را با مداخله‌ای اجرایی تأیید کرد؛ نه اینکه صرفاً از روی متن مکالمه نتیجه گرفت.

روش پیشنهادی این است که وضعیت میانیِ قابل‌اجرا از مسیر عامل تثبیت شود، فقط سابقه‌ای که عامل می‌بیند تغییر کند و سپس اجرا ادامه یابد. نویسندگان همچنین خواستار سنجش میزان وفاداریِ بازگردانی وضعیت و ارائهٔ گواهی بازپخش متناسب با پرسش پژوهش هستند. آن‌ها می‌گویند چند روش پیشین، از جمله DoVer و Causal Agent Replay، مداخله‌هایی را از نقطه‌های ذخیره‌شده یا وضعیت‌های ثبت‌شده اجرا می‌کنند، اما هیچ‌کدام گواهیِ بازپخشِ اندازه‌گیری‌شده گزارش نکرده‌اند.

دو آزمون هشداردهندهٔ مقاله، که هیچ‌یک خودِ استاندارد پیشنهادی را به‌کار نمی‌گیرند، محدودیت‌های استنباط را نشان می‌دهند. در یک مورد، ارتباط ادعاشده میان یک رده‌بندی خطا و «تمرکز» آن از اثر طراحی بنچمارک قابل تفکیک نبود؛ نسبت شانس تعدیل‌شده ۱٫۱۵ بود و بازهٔ گزارش‌شده عدد ۱ را دربر می‌گرفت. در مورد دیگر، نسخه‌های ذخیره‌شدهٔ یکسان از نظر هش با یکدیگر در هر ۲۴ وضعیت سازگار بودند، اما با ادامهٔ زندهٔ اجرا در ۹ و ۲۰ مورد از ۲۴ وضعیت تفاوت داشتند. بازگرداندن موقعیت ثبت‌شدهٔ جریان تصادفی باعث شد هر ۲۴ وضعیت با اجرای زنده سازگار شوند.

این مقاله با عنوان «Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard» در arXiv منتشر شده و برای کارگاه IAB در NeurIPS 2026 پذیرفته شده است.