پژوهشگران: لایه‌های linear attention در مدل‌های زبانی به ساخت پرس‌وجوی بازیابی کمک می‌کنند

پژوهشی تازه در arXiv تقسیم کار رایج در مدل‌های زبانی ترکیبی را به چالش می‌کشد؛ مدل‌هایی که لایه‌های linear attention را با شمار کمتری از لایه‌های softmax attention درهم می‌آمیزند. به‌گفتهٔ پژوهشگران، linear attention فقط برای فشرده‌سازی زمینهٔ پیشین به کار نمی‌رود، بلکه در ساخت پرس‌وجویی هم نقش دارد که softmax attention با آن اطلاعات را بازیابی می‌کند.

پژوهشگران با بررسی Qwen3.5، مبتنی بر Gated DeltaNet، و Granite4.0، مبتنی بر Mamba-2، مداری را شناسایی کرده‌اند که آن را «Encode–Address» می‌نامند. در این سازوکار، یک بلوک Encode اولیه هویت توکن‌ها را حفظ می‌کند و بلوک Address بازنمایی موقعیت نهایی را می‌سازد. سپس بخش بازیابِ مبتنی بر softmax از این بازنمایی برای شکل‌دادن به پرس‌وجوی توجه استفاده می‌کند.

چکیدهٔ در دسترس به بررسی انتقال این بازنمایی میان promptهای متفاوت اشاره می‌کند، اما جملهٔ مربوط به نتیجهٔ این آزمایش در متن منبع ناتمام است؛ بنابراین نتیجهٔ آن از اطلاعات موجود روشن نیست.