روش تازه‌ای برای انتخاب هدفمند داوری‌های ترجیحی در آموزش چندهدفهٔ مدل‌های زبانی

هم‌ترازکردن مدل‌های زبانی بزرگ با چند هدف، مانند مفیدبودن، بی‌ضرربودن و صداقت، معمولاً به داوری ترجیحی جداگانه برای هر هدف نیاز دارد؛ در نتیجه، با افزایش تعداد هدف‌ها، هزینهٔ برچسب‌گذاری نیز بالا می‌رود. پژوهشگران در پیش‌چاپی در arXiv روشی به نام OGC-DPO (Objective-conditioned Gradient Coverage DPO) معرفی کرده‌اند که می‌کوشد با انتخاب هدفمند مقایسه‌ها این هزینه را کاهش دهد.

در این چارچوب، هر ترکیب از یک جفت پاسخ و یک هدف، یک پرس‌وجوی جداگانه محسوب می‌شود. OGC-DPO میزان اطلاع‌بخشی هر پرس‌وجو را با استفاده از گرادیان ضمنی خود سیاست مدل می‌سنجد و برای این کار به مدل پاداش بیرونی متکی نیست؛ سپس پرس‌وجوهایی را برمی‌گزیند که پوشش گرادیانی هر هدف را بیشتر گسترش می‌دهند.

به‌گفتهٔ چکیدهٔ پژوهش، آزمایش‌ها با تعدادهای متفاوت هدف نشان داده‌اند OGC-DPO، در بودجهٔ برچسب‌گذاری یکسان، از روش‌های پیشین یادگیری فعال ترجیحی بهتر عمل می‌کند. تحلیل‌های بیشتر نیز حاکی است که ترجیحات متعارض همیشه زیان‌بار نیستند و می‌توانند سیگنال آموزشی مفیدی فراهم کنند. این مقاله در arXiv منتشر شده و پیش‌چاپ است.