هوش مصنوعی
AGORA برای ترکیب داوری مدل‌های زبانی، به هر داور وزن متناسب با اعتمادپذیری‌اش می‌دهد
این روش با تکیه بر نظریهٔ پاسخ‌گویی به سؤال، اعتبار داورها را از ارزیابی‌های موجود می‌آموزد و به برچسب انسانی نیاز ندارد؛ مزیت آن در مجموعه‌های کوچک‌تر پررنگ‌تر است.
پژوهشگران در پیش‌چاپی در arXiv روش AGORA را برای تجمیع ارزیابی چند مدل زبانی معرفی کرده‌اند. در این روش، به‌جای میانگین‌گرفتن ساده از نمره‌ها که به داوران کم‌اعتماد و قابل‌اعتماد وزن یکسان می‌دهد، کیفیت هر مورد روی مقیاسی نهفته قرار می‌گیرد و برای هر داور پارامتر حساسیت و آستانه‌های رتبه‌بندی در نظر گرفته می‌شود. اعتمادپذیری داورها از مجموع ارزیابی‌ها و بدون برچسب انسانی آموخته می‌شود.
نویسندگان می‌گویند AGORA در سه بنچمارک، در مجموعه‌های ارزیابی بزرگ با Dawid-Skene هم‌سطح بوده یا از آن بهتر عمل کرده است و برتری‌اش با کوچک‌شدن مجموعه‌ها تا چندصد مورد افزایش یافته است. روش همچنین در گروه‌هایی با تفاوت بیشتر میان میزان اعتمادپذیری داورها دقیق مانده است. یک شاخص پراکندگی که به برچسب نیاز ندارد نیز نشان می‌دهد چه زمانی وزن‌دهی بر پایهٔ اعتماد مفید است؛ وزن‌های آموخته‌شده هم با اعتبار هر داور در برابر ارزیابی انسانی هم‌خوانی داشته‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده