پژوهشگران می‌گویند چند توکن نخست می‌تواند کنترل زنجیرهٔ استدلال مدل را تغییر دهد

پژوهشگران در پیش‌چاپی در arXiv بررسی کرده‌اند چرا مدل‌های فعلی در کنترل محتوای ردهای زنجیرهٔ استدلال (CoT) محدود به نظر می‌رسند؛ محدودیتی که به گفتهٔ آن‌ها بخشی از امکان نظارت بر عامل‌های توانمندتر را فراهم می‌کند. آن‌ها منشأ این محدودیت را با افت آنتروپی در چند توکن نخست پس از برچسب آغازِ فکرکردن مرتبط می‌دانند.

این گروه دو مداخله در زمان استنتاج را برای بازیابی کنترل‌پذیری CoT بررسی کرده است: پیش‌گذاری توکن‌ها (prefilling)، که حتی یک توکن هم می‌تواند کنترل‌پذیری را به‌طور چشمگیری افزایش دهد؛ و ممنوع‌کردن توکن‌های پرتکرار در آغاز، همراه با مثال‌های درون‌متنی. روش دوم، طبق چکیدهٔ مقاله، میانگین انطباق را در مدل‌های بررسی‌شده ۳۴ تا ۴۱ واحد درصد بهبود داده است. متن موجود می‌گوید این مداخلات عمدتاً «اضافی» را بازیابی می‌کنند، اما جمله در چکیده ناتمام است و جزئیات بیشتری ارائه نمی‌دهد.