OTAP؛ سنجش مسیر عامل‌های هوش مصنوعی با توجه به ساختار اجرا

عامل‌های مبتنی بر مدل‌های زبانی هنگام انجام وظیفه، برنامه‌ریزی، فراخوانی ابزار و ثبت نتیجه‌های میانی را در قالب یک مسیر به‌هم‌پیوسته تولید می‌کنند. مقاله‌ای در arXiv به نام OTAP، این مسیر را نه فقط با نتیجهٔ نهایی، بلکه با مقایسهٔ گراف اجرای آن با مجموعه‌ای از گراف‌های راه‌حل معتبر ارزیابی می‌کند.

معیارهای رایج ممکن است مسیر را به موفق یا ناموفق بودن تقلیل دهند، آن را با یک پاسخ مرجع تطبیق دهند یا داوری را به مدل زبانی دیگری بسپارند. به‌گفتهٔ نویسندگان، این روش‌ها می‌توانند راه‌حل‌های معتبر با ترتیب یا تجزیهٔ متفاوت را ناعادلانه جریمه کنند و توضیح روشنی دربارهٔ علت شکست ندهند. OTAP با استفاده از انتقال بهینهٔ نامتوازنِ fused Gromov–Wasserstein روی گراف‌های وابستگیِ دارای ویژگی، اختلاف میان مسیر اجرا و راه‌حل‌های معتبر را به امتیازی نرمال‌شده تبدیل می‌کند. این روش برای گام‌های غایب یا توهمی لازم نمی‌داند تطبیقی اجباری پیدا شود.

در آزمایش‌های تغییر کنترل‌شده و سه بنچمارک عمومی، OTAP توانست مسیرهای معتبر را از نامعتبر جدا کند؛ از جمله در شرایطی که معیارهای صرفاً معنایی عملکردی پایین‌تر از حد تصادفی داشتند. در مطالعه‌ای کور روی ۲۳۶ مسیر، این معیار بیشترین توافق را در میان شش معیار مقایسه‌شده نشان داد. بااین‌حال، در مواردی که راستی‌آزمای رسمی وجود دارد، معیارهای سخت‌گیرانهٔ مبتنی بر تطبیق سطحی بهتر از OTAP اعتبار را پیش‌بینی کردند؛ بنابراین نویسندگان جایگاه اصلی این روش را حوزه‌هایی می‌دانند که راستی‌آزمای خودکار در آن‌ها در دسترس نیست.

محدودیت مهم دیگر، حساسیت به خطا در استخراج وابستگی‌هاست. در آزمایش‌های نویز روی یال‌های گراف، روش‌های ساختارمحور در گراف‌های پاک AUROC بالاتری داشتند، اما OTAP کمترین افت مطلق AUROC را زیر نویز آزمایش‌شده ثبت کرد. مقاله همچنین می‌گوید ناوردایی نسبت به تفاوت در ریزدانگی مسیر هنوز حل نشده و جفت‌سازی نرم فقط بخشی از این مشکل را کاهش می‌دهد.