تعویض مدل داور می‌تواند رتبه‌بندی سیستم‌ها را تغییر دهد

پژوهشی تازه در arXiv بررسی کرده است که اگر برای مقایسهٔ سیستم‌ها برچسب انسانی در دسترس نباشد، تکرار ارزیابی با داوری از ارائه‌دهنده‌ای دیگر تا چه اندازه می‌تواند نتیجه را تأیید کند. در این مطالعهٔ پیش‌ثبت‌شده، پنج مدل داور از سه ارائه‌دهنده، ۴۰۰۰ نبرد Chatbot Arena را دوباره ارزیابی کردند؛ داده‌ها شامل ۹ سیستم و ۳۳ جفت سیستم بود و پاسخ‌ها در هر دو ترتیب نمایش داده شدند. این نبردها رأی انسانی هم داشتند.

توافق داورهای زبانی با رأی انسان در سطح هر داوری پایین بود: میانهٔ ضریب کاپای کوهن ۰٫۲۲ گزارش شد. هم‌خوانی رتبه‌بندی هر داور با رتبه‌بندی انسانی، بر پایهٔ Kendall’s tau، از ۰٫۱۷ تا ۰٫۸۹ متغیر بود و میانهٔ آن ۰٫۶۷ بود. بنابراین، فرضیهٔ پیش‌ثبت‌شدهٔ پژوهش مبنی بر پایداری رتبه‌بندی‌ها تأیید نشد.

چکیدهٔ مقاله می‌گوید کاهش تعداد داورهای بررسی‌شده پس از پیش‌ثبت مطالعه اعلام شده است؛ جزئیات این کاهش در اطلاعات ارائه‌شده نیامده است.