AttentionIndex جست‌وجوی کلیدها را در sparse attention هدفمند می‌کند

در مدل‌هایی که از learned sparse attention استفاده می‌کنند، هر پرس‌وجو فقط به k کلید انتخاب‌شده با یک نمایه‌ساز سبک توجه می‌کند؛ اما خود نمایه‌ساز همچنان باید به همهٔ کلیدهای پیشوند امتیاز بدهد. چکیدهٔ مقاله می‌گوید این مرحله در دنباله‌ای با یک میلیون توکن بیش از نیمی از زمان prefill را می‌گیرد.

پژوهشگران AttentionIndex را پیشنهاد کرده‌اند: روشی که کلیدهای نمایه‌ساز را بر اساس شباهت در یک نمایهٔ وارونه گروه‌بندی می‌کند، پرس‌وجوها را در آن می‌گرداند و سپس نامزدها را با امتیاز بومی نمایه‌ساز پالایش می‌کند. این نمایه هنگام prefill ساخته می‌شود تا کلیدهای تازه فوراً قابل جست‌وجو باشند؛ روش همچنین از خوشه‌بندی‌های قبلی برای ارزان نگه‌داشتن نگه‌داری نمایه استفاده می‌کند.

چکیده، روش را با انتخاب دومرحله‌ای روی بلوک‌های پیوسته، مانند HiSA، مقایسه می‌کند و می‌گوید recall آن روش با افزایش طول زمینه و ثابت‌ماندن بودجهٔ نامزدها افت می‌کند. متن منبع ارائه‌شده پیش از پایان چکیده قطع شده است و نتیجه‌های کمی AttentionIndex را دربر ندارد.