روشی برای ساخت داده‌های ارزیابی مدل‌های زبانی با نقد متخصصان و پالایش هوش مصنوعی

پژوهشگران در مقاله‌ای در arXiv روشی به نام SME-C معرفی کرده‌اند که در آن متخصصان به پاسخ‌های پیشنهادی نقد کوتاه می‌نویسند و مدل‌های زبانی بزرگ از این بازخوردها برای پالایش تدریجی مجموعه‌دادهٔ پاسخ‌ها و روبریک‌های ارزیابی کمک می‌گیرند. هدف، کاهش اتکا به نگارش کامل و پرهزینهٔ نمونه‌ها به دست متخصصان است، بدون آنکه ترجیحات حرفه‌ای‌ها از داده‌های تولیدشده با هوش مصنوعی کنار گذاشته شود.

تیم پژوهش این روش را در حوزهٔ خلاصه‌های کسب‌وکار مالی آزمود: ۴۱۱ متخصص مالی دربارهٔ پاسخ‌های مربوط به ۵۲۰ پرسش، در دو دور نظرسنجی ۳۸۵۳ نقد ثبت کردند. پژوهشگران دو راهبرد پالایش را سنجیدند؛ یکی با تکیه بر نقدهای مکتوب متخصصان و دیگری با استنباط نقد از رأی‌های ترجیحی آن‌ها.

در یک نظرسنجی اعتبارسنجی کور با حضور ۱۰۰ متخصص دیگر، هر دو راهبرد کیفیت را نسبت به پاسخ‌های برتر اولیهٔ متخصصان به‌طور معناداری بهبود دادند. بهبودها بیشتر در پاسخ‌های اولیهٔ ضعیف دیده شد: پالایش مبتنی بر نقد، پاسخ‌هایی متکی‌تر به دانش حوزه تولید کرد؛ راهبرد مبتنی بر رأی نیز در شناسایی و حذف مطالب نامرتبط مؤثرتر بود.

نویسندگان می‌گویند مجموعهٔ داده و روبریک‌های حاصل می‌تواند به ارزیابی و بنچمارک‌کردن آفلاین و تکرارپذیر مدل‌های زبانی کمک کند. این نتایج در پیش‌چاپ گزارش شده‌اند و آزمون پژوهش به خلاصه‌های کسب‌وکار مالی محدود بوده است.