هوش مصنوعی
RubricWorld جست‌وجوی دستورهای نمره‌دهی مدل‌های زبانی را هدایت می‌کند
پژوهشگران چارچوبی پیشنهاد کرده‌اند که با آموختن از ارزیابی ویرایش‌های قبلیِ روبریک، پیش‌بینی می‌کند هر تغییر کدام خطاها را اصلاح یا ایجاد می‌کند.
پیش‌چاپی در arXiv چارچوبی به نام RubricWorld معرفی می‌کند که برای بهینه‌سازی دستورهای نمره‌دهی مدل‌های زبانی بزرگ طراحی شده است. در این روش، پارامترهای مدل نمره‌دهنده ثابت می‌مانند و به‌جای آن، متن روبریک یا معیار امتیازدهی اصلاح می‌شود.
به‌گفتهٔ نویسندگان، روش‌های موجود معمولاً تغییرها را با عملکرد کلی روی داده‌های اعتبارسنجی می‌سنجند؛ در نتیجه اطلاعات چندانی دربارهٔ اینکه هر ویرایش کدام خطاها را اصلاح کرده یا به‌وجود آورده، حفظ نمی‌شود. همچنین ارزیابی هر نسخهٔ پیشنهادی مستلزم نمره‌دهی دوباره به پاسخ‌های اعتبارسنجی است و این کار تعداد ویرایش‌هایی را که می‌توان در یک بودجهٔ ثابت آزمود محدود می‌کند.
RubricWorld از ارزیابی ویرایش‌های پیشین برای هدایت جست‌وجوی بعدی بهره می‌گیرد. مدل جهانِ این چارچوب، با توجه به وضعیت فعلی روبریک، نرخ اصلاح و افت عملکردِ ویرایش را در مرزهای امتیاز پیش‌بینی می‌کند. سیگنال آموزشی آن از نتایج نمره‌دهی جفت‌شده به دست می‌آید: امتیازهای همان پاسخ‌ها پیش و پس از یک ویرایش. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج آزمایش‌ها ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده