روش تازه‌ای برای داوری میان پاسخ‌های متناقض عامل‌های هوش مصنوعی

پژوهشی تازه در arXiv روشی به نام BP-TD پیشنهاد می‌کند که بدون استفاده از برچسب، هم پاسخ درست را از میان پاسخ‌های متناقض عامل‌های هوش مصنوعی تخمین می‌زند و هم میزان قابل‌اعتمادبودن هر عامل را. مسئله این است که بسیاری از عامل‌های به‌کارگرفته‌شده در عمل نسخه‌هایی از یک مدل پایه‌اند و خطاهایشان می‌تواند هم‌بسته باشد؛ بنابراین شمردن همهٔ پاسخ‌ها به‌عنوان رأی‌های مستقل گمراه‌کننده است.

BP-TD وزن‌هایی برای کاهش اثر این هم‌بستگی به استنباط واریاسیونی میانگین‌میدان در مدل یک‌سکه‌ای Dawid–Skene اضافه می‌کند. در نتیجه، عامل‌هایی که مدل پایهٔ مشترک دارند تقریباً به‌اندازهٔ یک رأی شمرده می‌شوند. تکرار نخست این روش دقیقاً معادل رأی‌گیری وزنی است و تکرارهای بعدی قابلیت اعتماد عامل‌ها را تخمین می‌زنند.

بر اساس چکیدهٔ پیش‌چاپ، آزمایش با ۱۳ عامل محلی روی MMLU نشان داده است که BP-TD بدون برچسب از رأی اکثریت بهتر عمل می‌کند. متن منبع در همین نقطه ناتمام است و عدد یا جزئیات بیشتری از نتیجه ارائه نمی‌دهد.