آگاهی از وضعیت ابزارها، پشیمانی عملیاتی عامل‌های هوش مصنوعی را کاهش داد

عامل هوش مصنوعی ممکن است بداند هر ابزار چه کاری انجام می‌دهد، اما از سالم‌بودن یا مناسب‌بودن آن ابزار در لحظهٔ استفاده خبر نداشته باشد. پژوهشگران این شکاف را «نابینایی عملیاتی» می‌نامند و در مقاله‌ای پیش‌چاپ، طرحی به نام Agent Harness Awareness پیشنهاد می‌کنند: میزبان پیش از یک اقدام مهم، خلاصه‌ای کوچک، تازه و تأییدشده از وضعیت را در اختیار مدل می‌گذارد، اما اختیار اندازه‌گیری، اعمال محدودیت، ارزیابی و اجرای نهایی را حفظ می‌کند.

در بنچمارک کنترل‌شدهٔ ToolRoute، پژوهشگران وظیفه و معنای گزینه‌های موجود را ثابت نگه داشتند و میزان اطلاعات عملیاتی در دسترس مدل را تغییر دادند. در آزمایشی با ۲۱۶ تصمیم و سه مدل GPT-5.6 Sol، Claude Sonnet 5 و Gemini 3.7 Flash، ارائهٔ وضعیت تأییدشدهٔ سلامت ابزارها میانگین «پشیمانی سیاستیِ قابل مشاهده» را در مقایسه با کنترل خنثیِ هم‌شکل ۹۶٫۹ درصد کاهش داد؛ این مقدار از ۴٬۲۵۲ میلی‌ثانیه به ۱۳۱ میلی‌ثانیه رسید. نرخ تکمیل با یک‌بار فراخوانی نیز از ۶۹٫۴ به ۹۵٫۸ درصد افزایش یافت.

در تکرار جداگانه‌ای با ۲۷ تصمیم، اجرای زندهٔ TCP/HTTP محلی، ردگیری‌های OpenTelemetry و خطاهای تزریق‌شده با Toxiproxy، میانگین پشیمانی از ۸٬۹۵۶ میلی‌ثانیه در گروه کنترل به صفر رسید. اقدام زنده در هر ۹ حالت ترکیب مدل و خطا تکمیل شد؛ در کنترل خنثی این رقم ۵ مورد از ۹ مورد بود.

نویسندگان می‌گویند نتایج، اثر داده‌های انتخاب‌شدهٔ میزبان بر تصمیم‌گیری عملیاتی پیش از اجرا را در سناریوی ابزار و شبکه نشان می‌دهد. وضعیت زمان اجرا، فشار سخت‌افزاری، ملاحظات اقتصادی، بازیابی با درنظرگرفتن تلاش‌های مجدد و انتخاب میان گزینه‌های ناهمگون، از جمله مواردی هستند که هنوز باید در پژوهش‌های بعدی بررسی شوند.