پژوهشگران پیشنهاد می‌کنند موفقیت عامل‌های هوش مصنوعی با وضعیت نهایی خدمت سنجیده شود

پژوهشگران در پیش‌چاپی در arXiv چارچوبی به نام «قراردادهای تکمیل مبتنی بر اجرا» پیشنهاد کرده‌اند تا ارزیابی عامل‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) به نتیجهٔ واقعی کار در خدمت توزیع‌شده وابسته باشد. در این چارچوب، یک صفحهٔ کنترل مستقل بررسی می‌کند که آیا شرط مشخصی دربارهٔ وضعیت خدمت تا ضرب‌الاجل قابل مشاهده شده است یا نه؛ سپس تکمیل کار را تأیید می‌کند و در صورت نیاز، فرایند بازیابی را هدایت می‌کند، در حالی که عامل همچنان مشغول انجام کار است.

نویسندگان این روش را برای عملیات جای‌گذاری و حذف در یک خدمت دادهٔ زنده با چند ارائه‌دهنده، مدل‌های ناهمگون و تأخیر انتقالِ تزریق‌شده ارزیابی کرده‌اند. چکیدهٔ موجود می‌گوید در برخی سیاست‌ها، کارهایی که مهلت را از دست داده بودند پذیرفته شدند؛ اما متن ارائه‌شده نتیجه‌های کامل ارزیابی را در بر ندارد.