روش ASB با شاخه‌سازی هدفمند، پوشش پاسخ‌های درست را در آزمون ریاضی افزایش داد

پژوهشگران در پیش‌چاپی در arXiv روشی به نام Adaptive Semantic Branching (ASB) معرفی کرده‌اند که از اختلاف میان پاسخ‌های مدل برای تولید مسیرهای استدلال تازه استفاده می‌کند. این روش به آموزش مدل نیاز ندارد و در ارزیابی ۵۰۰ مسئلهٔ MATH، پوشش نامزدهای درست را از ۴۴۵ مسئله از ۵۰۰ مسئله با هفت نمونهٔ اولیه، به ۴۵۵ مسئله رساند؛ یعنی برای ۱۰ مسئله که در ابتدا پاسخ درست میان نامزدها نبود، نامزد درست تازه‌ای پیدا کرد.

ASB ابتدا مسیرهای استدلالی مستقلی را که برای یک مسئله تولید شده‌اند، بر اساس پاسخ نهایی دسته‌بندی می‌کند و از هر دسته یک نمونه برمی‌گزیند. سپس گام‌های استدلال را با یک برنامه‌ریزی پویای یکنواخت با هم تطبیق می‌دهد تا نقطه‌ای را بیابد که مسیرهای ابتدا مشابه، به ادامه‌های متفاوت می‌رسند. برای هر جفت مسیر انتخاب‌شده، روش پیشوند متنی مسیر مبدأ را نگه می‌دارد، بخشی کوتاه از استدلال مسیر رقیب را برمی‌دارد و با ترکیب این دو، راه‌حل تازه‌ای می‌سازد.

سیاست ASB با توجه به ساختار دسته‌های پاسخ، حداکثر سه تولید اضافی را تخصیص می‌دهد. در کل ارزیابی، روش ۵۷۶ فراخوانی تولید اضافی انجام داد و میانگین فراخوانی‌ها به‌ازای هر مسئله ۸٫۱۵۲ بود. نویسندگان جزئیات سازوکار شاخه‌سازی، معیار هم‌ترازی، سیاست تولید و تنظیمات آزمایش را نیز ارائه کرده‌اند.