روش Anchor حافظهٔ بازگشتی را به چند لایهٔ کلیدی ترنسفورمر محدود می‌کند

پژوهشگران در پیش‌چاپی با عنوان «Anchor: Augmented Cross-Layer Recurrent State for Long-Context Retrieval in Test-Time Training»، روشی برای بازیابی اطلاعات از متن‌های بلند در مدل‌های ترکیبیِ Sliding-Window Attention (SWA) و Test-Time Training (TTT) معرفی کرده‌اند. در این مدل‌ها، توجه پنجره‌ای با حافظهٔ بازگشتیِ دارای اندازهٔ ثابت ترکیب می‌شود تا ترنسفورمر خودرگرسیوِ ازپیش‌آموزش‌دیده به مدلی کارآمدتر تبدیل شود.

بررسی نویسندگان نشان می‌دهد بازیابی اطلاعات در عمق مدل پراکنده است و عمدتاً در چند لایهٔ موسوم به «لنگر» متمرکز می‌شود. به‌گفتهٔ آن‌ها، حالت‌های بازگشتیِ لایه‌های دیگر اطلاعاتی مشابه دارند که با تبدیل‌های ویژهٔ هر لایه بیان می‌شود.

Anchor بر همین مشاهدات تکیه دارد: حافظهٔ TTT را فقط در لایه‌های لنگر قرار می‌دهد و یک حالت بازگشتیِ مشترک میان لایه‌ها می‌نویسد تا لایه‌های متعدد آن را بخوانند. هر لایه از نگاشتِ خواندنِ یادگرفته‌شدهٔ خودش استفاده می‌کند. چکیدهٔ در دسترس توضیح روش را در میانهٔ جمله قطع می‌کند و جزئیاتی دربارهٔ نتایج کمی ارائه نمی‌دهد.