مایکروسافت ThinkingBox عملکرد عامل‌های هوش مصنوعی را با وضعیت نهایی پایگاه داده می‌سنجد

مایکروسافت ThinkingBox را برای سنجش عامل‌های هوش مصنوعی معرفی کرده است؛ بنچمارکی که بررسی می‌کند عامل پس از انجام کار چه وضعیتی در سامانهٔ پشتیبان باقی می‌گذارد. این ابزار که از طریق Hugging Face در دسترس است، عامل‌ها را در نشست‌های ایزولهٔ ابزارهای MCP اجرا می‌کند و سپس وضعیت نهایی پایگاه داده و اثرهای جانبی اقداماتشان را می‌سنجد.

در نمونه‌ای از بنچمارک، مشتری دربارهٔ وسیله‌ای ۷۴۵ دلاری پرسیده که ۱۵ روز پس از موعد تحویل، در مرکز توزیع نشویل گرفتار وضعیت استثناییِ شرکت حمل‌ونقل شده است. عامل اطلاعات سفارش و مشتری را بررسی می‌کند، سیاست بازپرداخت را می‌خواند و تیکتی می‌سازد؛ اما در پایان تیکت را «حل‌شده» ثبت می‌کند و پاسخی بی‌ارتباط با پرسش مشتری می‌دهد. چون مشکل حمل‌ونقل هنوز باز است، وضعیت موردنیاز تیکت «در انتظار» بوده است. بنابراین، با وجود ۹ فراخوانی ابزارِ درست‌ساخت، نتیجهٔ ثبت‌شده در پایگاه داده نادرست است.

به‌گفتهٔ مایکروسافت، پاسخ نهاییِ قانع‌کننده یا فراخوانی معتبر ابزار به‌تنهایی نشان نمی‌دهد که عامل کار را درست انجام داده است: ممکن است مقدار اشتباهی ثبت کند، رکورد نامربوطی را تغییر دهد یا اثری جانبی ایجاد کند. ThinkingBox همین فاصله را می‌سنجد. این بنچمارک شامل ۵۰۷ گردش‌کارِ دارای وضعیت پایدار است و هر گردش‌کار را ۲۰ بار با مدل‌های زبانی مختلف اجرا می‌کند. منبع همچنین از یک مقایسهٔ مشترک با ۱۲ مدل و ۱۲۱٬۶۸۰ اجرای معتبر نام می‌برد، اما اطلاعات ارائه‌شده جزئیات نتیجهٔ آن مقایسه را کامل نمی‌کند.