وقتی مدل کدنویس آن‌قدر استدلال می‌کند که کدی تحویل نمی‌دهد

پژوهشگران در مطالعه‌ای روی هفت مدل استدلالیِ دارای وزن‌های باز و شش مجموعه‌معیار کدنویسی، پدیده‌ای را بررسی کرده‌اند که آن را «سرریز رد استدلال» می‌نامند: مدل چنان بخش بزرگی از بودجهٔ خروجی را صرف استدلال می‌کند که پیش از تولید کدِ قابل‌استفاده، سقف ۳۲هزار توکن را پر می‌کند. این مشکل در وظایف ساده‌ترِ نوشتن تابع به‌ندرت رخ می‌دهد، اما در معیارهای دشوارتر و برای بعضی خانواده‌های مدل رایج‌تر است؛ در چند جفت مدل و معیار، بیش از نیمی از خروجی‌ها پیش از رسیدن به کد، کل بودجه را مصرف کرده‌اند. بیشتر موارد سرریز کامل با حلقه‌های تکراری در استدلال همراه بوده، هرچند گاهی استدلال طولانی بدون تکرار هم به همین نتیجه رسیده است.

ارزش استدلال به مدل و نوع کار بستگی دارد: خاموش‌کردن آن برای مدل‌های مستعد سرریز می‌تواند رقابتی باشد، چون دست‌کم تضمین می‌کند پاسخی تولید شود؛ اما برای مدل‌های قوی‌تر، در مسائل الگوریتمی دشوار و فهم کد همچنان سودمند است. هدایت مدل با پرامپت در برخی موارد سرریز را کاهش داده، اما نتیجه‌اش یکدست نبوده است. در مقابل، گذارِ بودجه‌بندی‌شده میان استدلال و تولید پاسخ کنترل مستقیم‌تری فراهم کرده و برای مدل‌های مستعد سرریز، هم عملکرد و هم بهره‌وری توکن را بهبود داده است. مقاله، که پیش‌چاپ arXiv است، پیشنهاد می‌کند استدلال صریح در تولید کد منبعی قابل‌کنترل تلقی شود، نه قابلیتی که همیشه باید فعال باشد.