هوش مصنوعی
سیاست ValueFormation برای افزایش دقت استدلال در زمان آزمون، میان نمونه‌گیری و کمک‌گرفتن از متخصص تصمیم می‌گیرد
پیش‌چاپی در arXiv روشی معرفی می‌کند که پس از هر پاسخ مدل اصلی، انتخاب می‌کند متوقف شود، نمونه‌های بیشتری بگیرد یا از یک مدل متخصص پیشنهاد تازه‌ای دریافت کند.
روش ValueFormation برای مدیریت محاسبات در زمان آزمون طراحی شده است؛ مسئله‌ای که در آن نمونه‌گیری و انتخاب از میان پاسخ‌های موجود نمی‌تواند پاسخ درستی را بازیابی کند، اگر آن پاسخ اصلاً وارد مجموعهٔ نامزدها نشده باشد. این سیاست پس از هر بار تولید پاسخ از سوی مدل اصلی، بین سه گزینه تصمیم می‌گیرد: توقف، ادامهٔ نمونه‌گیری یا دریافت یک پیشنهاد از متخصصی با شیوهٔ استدلال متفاوت.
پژوهشگران ارزش هر گزینه را با مقیاسی واحد و تعدیل‌شده بر اساس هزینه می‌سنجند؛ مقیاسی که از ویژگی‌های وضعیت رأی‌گیری میان پاسخ‌ها آموخته شده است. کالیبراسیون این مقیاس در همهٔ وظایف و مدل‌های اصلی ثابت می‌ماند و پیشنهادهای دریافتی نیز فقط پس از مقایسه با یک برآورد پسینِ ثابت پذیرفته می‌شوند.
بر اساس چکیدهٔ پیش‌چاپ، در آزمون MATH-500 روی داده‌های کنارگذاشته‌شده، کالیبراسیونی که با Llama برازش شده بود، برای هر سه مدل اصلی ۸ میلیاردپارامتری، بیش از ۱۵ واحد از قوی‌ترینِ هشت خط مبنای ارزیابی‌شدهٔ یکسان بهتر عمل کرد. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ این سه مدل یا اندازه‌گیری عملکرد ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده