پاداش‌دهی به استدلال درونی مدل‌ها همیشه به پاسخ بهتر منجر نمی‌شود

پیش‌چاپی در arXiv بررسی می‌کند چگونه می‌توان مدل‌های زبانی را تشویق کرد تا هنگام پاسخ‌گویی واقعاً به استدلالی که تولید کرده‌اند تکیه کنند؛ نه اینکه فقط توضیحی باورپذیر بنویسند که تأثیری بر پاسخ نهایی ندارد. پژوهشگران چهار پاداش مبتنی بر سیگنال‌های خود مدل را به روش آموزش GRPO افزودند: حساسیت گرادیان، فاصلهٔ اطمینان، افزایش تدریجی اطمینان و جابه‌جایی استدلال با پرسش.

آزمایش‌ها روی دو مدل کوچکِ تنظیم‌شده برای پیروی از دستور و مجموعه‌داده‌های GSM8K و StrategyQA انجام شد. پژوهشگران واکنش مدل‌ها را به ویرایش استدلال، بازنویسی پرسش‌ها و سرنخ‌های درون‌پرسشی سنجیدند. برخی پیکربندی‌ها باعث شدند پاسخ مدل بیشتر به تغییرات استدلال وابسته شود، اما اثر روش‌ها بر دقت پاسخ و تاب‌آوری در برابر بازنویسی متغیر بود.

در وزن‌های بالای پاداش، پژوهشگران همچنین پدیدهٔ رونویسی پاسخ را مشاهده کردند. در تنظیم‌هایی که مسئله به بخش‌های کوچک‌تر تجزیه می‌شد نیز اتکای زیاد به استدلال گاهی با دقت پایین در انجام وظیفه همراه بود. این نتایج نشان می‌دهد افزایش وابستگی پاسخ به استدلال تولیدشده، به‌تنهایی تضمین‌کنندهٔ عملکرد بهتر نیست.