DMT؛ معماری ترکیبی برای توجه با هزینهٔ ثابت

در ترنسفورمرهای متعارف، با بلندترشدن متن، اندازهٔ KV-Cache و هزینهٔ پردازش هر توکن تازه افزایش می‌یابد؛ در مدل‌های State Space، گذشته در یک حالت بازگشتی با اندازهٔ ثابت فشرده می‌شود، اما دسترسی مستقیم به اطلاعات آن محدودتر است. پژوهشگران در پیش‌چاپی در arXiv معماری ترکیبی Dynamical Memory Transformer (DMT) را پیشنهاد کرده‌اند که کدگذاری دنباله را از خواندن اطلاعات جدا می‌کند.

رمزگذار DMT از چند واحد حافظه تشکیل شده است. هر واحد با یک سامانهٔ دینامیکی و ماتریس بازگشتی قطری مختلط پیاده‌سازی می‌شود و نرخ نشتِ وابسته به ورودی، به‌روزرسانی آن را کنترل می‌کند. سپس رمزگشا با توجه، خروجی این واحدها را می‌خواند و ترکیب می‌کند؛ بدون آنکه به تاریخچهٔ توکن‌ها رجوع کند. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج یا ارزیابی عملکرد ارائه نمی‌دهد.