هوش مصنوعی
طرح «Multi-layer Indexer» برای کاهش هزینهٔ فهرست‌سازی در توجه تنک
پیش‌چاپی در arXiv پیشنهاد می‌کند هر لایه به‌جای انتخاب مستقل توکن‌ها، از انتخاب لایهٔ قبلی استفاده کند تا فهرست‌سازها هم‌زمان اجرا شوند.
در DeepSeek Sparse Attention (DSA)، روشی که در DeepSeek-V3.2 و خانوادهٔ GLM-5 به‌کار می‌رود، یک فهرست‌ساز پیش از هر لایهٔ توجه، کل حافظهٔ توکن‌ها را امتیازدهی و ۲۰۴۸ توکن برتر را برای آن لایه انتخاب می‌کند. به‌گزارش نویسندگان پیش‌چاپ arXiv، در زمینه‌های طولانی، اسکن فهرست‌ساز ــ نه توجه تنکی که به آن وابسته است ــ بخش عمدهٔ زمان رمزگشایی را می‌گیرد.
پیشنهاد مقاله این است که هر لایه از توکن‌های انتخاب‌شده به‌دست فهرست‌سازِ لایهٔ پیشین استفاده کند؛ این کار با تکیه بر شباهت انتخاب‌های لایه‌های مجاور، وابستگی میان فهرست‌سازها را برمی‌دارد و امکان اجرای هم‌زمان آن‌ها را فراهم می‌کند. متن ارائه‌شده از پیش‌چاپ در میانهٔ توضیح متوقف می‌شود و جزئیات بیشتری دربارهٔ روش یا نتایج آن در دسترس نیست.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده