پژوهشگران روش تازه‌ای برای توجهِ کم‌هزینه در متن‌های بسیار بلند پیشنهاد کردند

در پیش‌چاپی تازه در arXiv، پژوهشگران روش Latent Sparse Attention (LSA) را برای کاهش هزینهٔ محاسبهٔ attention در زمینه‌های بسیار بلند معرفی کرده‌اند. به‌گفتهٔ چکیده، وقتی طول زمینه از یک میلیون توکن فراتر می‌رود، full attention هزینهٔ بالایی دارد. روش‌های sparse attention هم یا همچنان با افزایش طول زمینه هزینه‌ای درجه‌دوم دارند یا در مقیاس بسیار بزرگ دقتشان افت می‌کند.

در LSA، کلیدها به‌شکل سلسله‌مراتبی در یک فضای نهفتهٔ یادگرفتنی خوشه‌بندی می‌شوند و پرس‌وجوها به‌جای امتیازدهی به تک‌تک کلیدها، سلسله‌مراتب خوشه‌ها را ارزیابی می‌کنند. چکیدهٔ منتشرشده در دادهٔ منبع ناتمام است؛ بنابراین جزئیات بیشتر دربارهٔ سازوکار روش یا نتایج ارزیابی آن در دسترس نیست.