روش GIST برای آموزش RLVR، گزینش پاسخ‌ها و توکن‌های مؤثرتر را پیشنهاد می‌کند

در یادگیری تقویتی آفلاین با پاداش‌های قابل‌راستی‌آزمایی (RLVR)، معمولاً همهٔ توکن‌های پاسخ‌های موجود در مجموعهٔ آموزشی زیر نظارت قرار می‌گیرند؛ با این حال، پاسخ‌ها و توکن‌ها ارزش یکسانی برای آموزش ندارند. پژوهش معرفی‌شده در arXiv روش GIST را پیشنهاد می‌کند تا پاسخ‌ها و بخش‌های آموزنده‌تر آن‌ها انتخاب شوند.

این روش بر تحلیل فاصلهٔ میان سیاست مدل و سیاست بهینهٔ Gibbs در RLVR با منظم‌سازی KL تکیه دارد. بر اساس تحلیل نویسندگان، پاسخ‌های درست عمدتاً از راه توکن‌های کم‌احتمال خود اهمیت پیدا می‌کنند؛ در پاسخ‌های نادرست، پاسخ‌هایی که مدل بیشتر تولید می‌کند و توکن‌های پراحتمال آن‌ها سهم اصلی را دارند.

GIST در دو سطح انتخاب می‌کند: با استفاده از دمای نمونه‌گیری، پاسخ‌های درستِ روی‌سیاست و پاسخ‌های نادرستِ نزدیک به مُد سیاست را برمی‌گزیند؛ سپس با توجه به احتمال توکن‌ها در سیاست اولیه، فقط توکن‌هایی را برای آموزش نگه می‌دارد که بیشترین ارتباط را با این فاصله دارند.

در آزمایش‌ها، GIST روی سه مجموعهٔ GSM8K، MATH-500 و MBPP میانگین دقت را برای هر سه مدل، تحت هر دو هدف آموزشی بررسی‌شده، افزایش داد. در مقایسه‌ای کنترل‌شده با مدل Qwen3-0.6B روی GSM8K نیز این روش از هفت روش گزینش دیگر که از همان پاسخ‌های نامزد انتخاب می‌کردند بهتر عمل کرد و در عین حال، نسبت به آموزش با همهٔ نامزدهای همان پرامپت‌ها ۶۶٫۶ درصد توکن کمتر را زیر نظارت برد. این مقاله پیش‌چاپ است.