BABA-Bench توانایی عامل‌های هوش مصنوعی در پیگیری پرونده‌های درمانی را می‌سنجد

پژوهشگران در پیش‌چاپی در arXiv از BABA-Bench رونمایی کرده‌اند؛ بنچمارکی برای ارزیابی عامل‌های مبتنی بر مدل‌های زبانی بزرگ در پیگیری پرونده‌های پیچیدهٔ حمایت از بیماران. در این موقعیت‌ها، عامل باید هم به نتیجهٔ درست برسد و هم فرایندهای لازم را رعایت کند؛ برای نمونه، پیش از به‌اشتراک‌گذاشتن پروندهٔ بیمار باید اجازهٔ او را بگیرد.

BABA-Bench شامل ۴۷ دنیای تعاملی است که هرکدام بر پایهٔ یک پروندهٔ واقعیِ حمایت از بیمار ساخته شده‌اند. پرونده‌ها بی‌نام‌سازی شده‌اند و مدافعان حرفه‌ای آن‌ها را بررسی کرده‌اند. عامل در هر دنیا باید اطلاعات پنهان را پیدا کند و میان بیمه‌گرها، درمانگاه‌ها، تأمین‌کنندگان، داروخانه‌ها و سازمان‌های اجتماعی هماهنگی انجام دهد.

موتور بنچمارک هر اقدام را همان زمان که انجام می‌شود می‌سنجد: آیا عامل مجوز لازم را دارد، برای اقدامش مدرک کافی دارد و آیا آن اقدام ممنوع است؟ پژوهشگران ۱۴ مدل پیشرفته را ارزیابی کرده‌اند، اما چکیدهٔ در دسترس نتیجهٔ این ارزیابی را بیان نمی‌کند.