ماژول محاسباتیِ منجمد، ابزار را به درون گذرِ پیش‌روِ مدل زبانی می‌آورد

پژوهشگران در پیش‌چاپی در arXiv روشی برای اجرای محاسبات کوتاه درون گذرِ پیش‌روِ مدل زبانی بررسی کرده‌اند. در این روش، یک «نویسنده» آموزش‌دیده حالت‌های پنهان مدل را به نوار نمادینی از نمادهای گسسته تبدیل می‌کند؛ ماژولی عصبی که جداگانه آموزش دیده و سپس ثابت شده است، نوار را به نتیجه تبدیل می‌کند و یک «خواننده» نتیجه را به مدل بازمی‌گرداند. نویسندگان می‌گویند فراخوانی ابزار از طریق متنِ تولیدشده، حتی برای محاسبات کوتاه، به گام‌های رمزگشایی اضافه نیاز دارد.

این روش برای محاسبات حسابی و ردیابی اشیا در مدل gemma-3-1b-it ارزیابی شد. با نویسنده‌ای که روی نوارهای برچسب‌خورده آموزش دیده بود، مدل هر ۷۵۰ مورد آزمون «tracking shuffled objects» در BIG-Bench Hard را درست پاسخ داد. در مسئله‌ای با هفت نفر، زمان اجرای هستهٔ GPU حدود یک‌دهم خط‌مبنای مبتنی بر ابزار متنی بود که از همان ... استفاده می‌کرد؛ چکیدهٔ منبع در این نقطه ناتمام است و جزئیات مقایسه را کامل نمی‌کند.