پژوهش
روشی برای هم‌ترازکردن امتیاز داورهای زبانی با ارزیابی انسانی
پژوهشگران در پیش‌چاپی در arXiv روش «تطبیق کوانتایلی جریانی» را معرفی کرده‌اند که به‌جای تنظیم جداگانهٔ امتیازها، توزیع امتیازهای مدل و انسان را هم‌تراز می‌کند.
![Figure 1: Each metric min–max normalized to [ 0 , 1 ] [0,1] and exact-match rate expressed as a mismatch rate, so that lower is always closer to human on every metric.](https://arxiv.org/html/2611.00447/2611.00447v1/figures/rq1_heldout_normalized.png)
امتیازهای مدل‌های زبانیِ داور ممکن است در هر کار ارزیابی، از نظر توزیع با امتیازهای انسانی تفاوت داشته باشند. یکی از راه‌های رایج برای اصلاح این اختلاف، کالیبراسیون پس از ارزیابی است: نگاشت امتیازهای مدل به امتیازهای انسانی با کمک مجموعه‌ای کوچک از نمونه‌های برچسب‌خورده.
نویسندگان پیش‌چاپ arXiv روش Streaming Quantile Matching یا SQM را پیشنهاد می‌کنند؛ روشی مبتنی بر انتقال بهینه که نگاشت میان توزیع امتیازهای مدل و انسان را محاسبه می‌کند. مبنای کار این است که امتیازها را رتبه‌بندی‌های ترتیبیِ برخاسته از یک توزیع در نظر بگیریم، نه نقاطی مجزا. چکیده می‌گوید ارزیابی پژوهش نشان داده SQM، برخلاف روش‌های کالیبراسیون نقطه‌به‌نقطه، عملکرد متفاوتی دارد؛ اما متن ارائه‌شده نتیجهٔ کامل یا جزئیات این مقایسه را بیان نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده