چارچوب چندعاملی MEA می‌کوشد توضیح‌های مدل‌های هوش مصنوعی را وفادارتر کند

مدل‌های یادگیری ماشین در حوزه‌های حساس به کار گرفته می‌شوند، اما رفتارشان برای متخصصانی که بر اساس پیش‌بینی‌های آن‌ها تصمیم می‌گیرند، اغلب مبهم است. پژوهشگران در پیش‌چاپی در arXiv، چارچوب چندعاملی MEA را معرفی کرده‌اند که هدفش تبدیل خروجی ابزارهای توضیح مدل به شرحی طبیعی و متکی بر رفتار واقعی مدل است.

در MEA، عامل Proposer با توجه به پرسش و نوع داده، ابزارهای توضیح را انتخاب و تنظیم می‌کند و عامل Actor خروجی را به زبان طبیعی درمی‌آورد. پژوهشگران این سامانه را برای داده‌های جدولی، متنی و تصویری طراحی کرده‌اند و انواع پرسش‌هایی مانند شناسایی سهم ویژگی‌ها، استدلال خلاف‌واقع و تشخیص ویژگی‌های گمراه‌کننده را در نظر گرفته‌اند.

ارزیابی وفاداری توضیح‌ها بر معیارهای مبتنی بر دست‌کاری داده‌ها تکیه دارد. به‌گزارش پژوهشگران، مدل‌های زبانی پیشرفته به‌طور نظام‌مند توضیح‌های ناموفادار تولید می‌کنند. MEA با بهینه‌سازی مبتنی بر پاداش وفاداری و جریمه‌ای متناسب با نوع داده، در شش مجموعه‌داده از روش‌های توضیح پسینی، سامانه‌های عامل‌محور و خط‌پایه‌های بسته بهتر عمل کرده است. در مقایسه با نسخهٔ آموزش‌ندیدهٔ مدل پایه، افزایش وفاداری گزارش‌شده ۲۸ درصد برای داده‌های جدولی، ۲۱ درصد برای متن و ۳۴ درصد برای تصویر بوده است.

این یافته‌ها در یک پیش‌چاپ منتشر شده‌اند و مقاله می‌گوید عامل‌های هوش مصنوعی می‌توانند راهی مقیاس‌پذیر و سازگار برای دسترسی به توضیح‌پذیری مدل‌ها فراهم کنند؛ ادعایی که بر پایهٔ نتایج گزارش‌شده در همان پژوهش است.