هوش مصنوعی
بهینه‌سازی مستقیم نش در یک آزمایش، امتیاز Llama 3.1 را در AlpacaEval بالا برد
پژوهشگران با بازپیاده‌سازی روش DNO-Prct، افزایش نرخ برد Llama 3.1 8B Instruct را پس از سه دور بهینه‌سازی از ۳۱٫۷ به ۴۵٫۳ درصد گزارش کردند؛ نتیجهٔ Mistral در متن منبع ناقص است.
پژوهشگران در پیش‌چاپی در arXiv، روش Direct Nash Optimization (DNO) را برای هم‌راستاکردن مدل‌های زبانی با ترجیحات عمومی ارزیابی کرده‌اند. این روش با تقریب تعادل نش در یک بازی دوطرفهٔ ترجیحی کار می‌کند. گونهٔ عملی آن، DNO-Prct، نمونه‌گیری در حین اجرا را با امتیازدهی مدل زبانی به پاسخ‌ها در مقایسه با پاسخ مرجع، انتخاب جفت‌های ترجیحی با حاشیهٔ بزرگ و به‌روزرسانی تقابلی به سبک DPO ترکیب می‌کند.
تیم پژوهش روش را مستقلاً بازپیاده‌سازی و روی دو مدل متن‌بازِ دارای وزن، Llama 3.1 8B Instruct و Mistral 7B Instruct v0.1، آزمایش کرد. برای برچسب‌گذاری از GPT-4o یا مدلی بزرگ‌تر از همان خانواده استفاده شد. در AlpacaEval 2.0، با GPT-4o به‌عنوان داور، سه دور بهینه‌سازی نرخ بردِ کنترل‌شده بر اساس طول پاسخ برای Llama را در برابر GPT-4o از ۳۱٫۷ به ۴۵٫۳ درصد رساند.
چکیدهٔ در دسترس، عدد مربوط به Mistral را پس از عبارت «از ۶٫۸ به...» ناتمام می‌گذارد؛ بنابراین نتیجهٔ این مدل از اطلاعات ارائه‌شده قابل تعیین نیست.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده