مدل‌های زبانی در ارزیابی ترجمه ماشینی هنوز جایگزین قابل‌اتکایی برای انسان نیستند

پژوهشگران Apple عملکرد مدل‌های زبانی بزرگ را در دو روش ارزیابی کیفیت ترجمهٔ ماشینی، یعنی Multidimensional Quality Metrics (MQM) و Error Span Annotation (ESA)، با میزان توافق ارزیابان انسانی مقایسه کرده‌اند. این بررسی مجموعه‌ای آزمون با متن‌های بلند در ۷۰ جفت‌زبان و داده‌های عمومی WMT23 و WMT25 را دربر می‌گیرد و هم امتیازدهی و هم نشانه‌گذاری بازه‌های خطا را می‌سنجد.

نتایج نشان می‌دهد در برخی وظایف، توافق مدل‌های زبانی با ارزیابان انسانی از توافق میان خود ارزیابان بیشتر است؛ بااین‌حال، عملکرد هر دو گروه با تغییر روش ارزیابی، جفت‌زبان و حوزهٔ متن به‌طور چشمگیری تغییر می‌کند و در بیشتر تنظیمات قابل‌اتکا نیست.

ارزیابان انسانی به‌ویژه در حاشیه‌نویسی ریزدانهٔ MQM و ارزیابی زبان‌های کم‌منبع با دشواری روبه‌رو می‌شوند. مدل‌ها نیز در تشخیص خطاهای جزئی، گونه‌های نادرست زبان و نشانه‌گذاری بازهٔ خطا مشکل دارند. پژوهشگران می‌گویند ترکیب کار انسان و مدل می‌تواند مسیر بهبود باشد، اما باید مشکلات پایایی شناسایی‌شده را برطرف کند.