Dreamer با توجه در عمق، استدلال نهفته را کارآمدتر می‌کند

پژوهشگران در پیش‌چاپی با عنوان «Depth-Recurrent Attention Mixture (Dreamer)» چارچوبی ماژولار برای مدل‌های دارای استدلال نهفته معرفی کرده‌اند. این چارچوب سه سازوکار را ترکیب می‌کند: توجه به توالی، توجه در عمق و توجه تنکِ متخصص‌محور.

به‌گفتهٔ نویسندگان، روش‌های پیشین در مقایسه با مدل‌های دیگر، هم‌ترازی هم‌زمان از نظر FLOP، تعداد پارامترها و حافظه را نادیده می‌گرفتند و استفاده از بازگشت در عمق نیز به‌دلیل ثابت‌ماندن بخشی از لایه‌ها محدود بود. آن‌ها همچنین گلوگاه اندازهٔ ثابت لایه‌های پنهان را مانعی برای استدلال چندمرحله‌ای می‌دانند. Dreamer با افزودن توجه در عمق، این محدودیت را کاهش می‌دهد و امکان مقیاس‌دهی مستقل ابعاد مختلف را فراهم می‌کند.

طبق چکیدهٔ مقاله، مدل‌های این چارچوب در معیارهای استدلال زبانی با همان دقت، به ۲ تا ۸ برابر توکن آموزشی کمتر از مدل‌های پیشرفتهٔ هم‌تراز از نظر محاسبات، پارامتر و حافظه نیاز داشتند. همچنین با تعداد توکن آموزشی یکسان، از مدل‌های پیشرفته‌ای که حدود دو برابر بزرگ‌تر بودند بهتر عمل کردند. نویسندگان می‌گویند تنوع انتخاب متخصص‌ها نیز در Dreamer بین ۲ تا ۱۱ برابر بیشتر از مدل‌های Mixture of Experts پیشرفته بوده است.

این پژوهش در arXiv منتشر شده و در اطلاعات مقاله، پذیرش آن برای NeurIPS 2026 ذکر شده است.