هوش مصنوعی
تنظیم نرم‌پرامپت، داورهای متن‌باز را به ارزیابی انسان نزدیک‌تر کرد
پژوهشی پیش‌چاپ می‌گوید ترکیب دستورهای متنی و بردارهای پیوستهٔ آموخته‌شده، توافق داورهای LLM متن‌باز با ارزیابان انسانی را در سه بُعد بهبود داده است.
مدل‌های زبانی بزرگ به‌طور فزاینده برای ارزیابی پاسخ چت‌بات‌ها به کار می‌روند، اما مدل‌های تجاریِ دارای توافق بالا با ارزیابان انسانی هزینه‌بر و دشوار برای استقرارند. داورهای متن‌باز سبک‌تر جایگزین کم‌هزینه‌تری هستند، ولی معمولاً کمتر با ارزیابی انسان توافق دارند.
پژوهشگران در این پیش‌چاپ بررسی کرده‌اند که آیا می‌توان با تنظیم نرم‌پرامپت، داورهای متن‌باز را با سیاست‌های برچسب‌گذاری انسانی همسو کرد. آن‌ها پرامپت‌ها را روی بنچمارک FairBotBench آموزش دادند و عملکرد داورها را در ارزیابی سوگیری، سمیت و شخصی‌سازی سنجیدند.
بر اساس چکیدهٔ مقاله، روش ترکیبیِ نرم‌پرامپت—که دستورهای متنی را با تعبیه‌های پیوستهٔ آموخته‌شده ترکیب می‌کند—در هر سه بُعد، توافق با ارزیابان انسانی را نسبت به نسخه‌های تنظیم‌نشده به‌طور پیوسته افزایش داد. داورهای سازگارشده بر پایهٔ Qwen 3.5 9B نیز در هر سه بُعد از دو داور مرجعِ میزبانی‌شده فراتر رفتند. این مقاله در arXiv منتشر شده و پیش‌چاپ است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده