SparseGDN محاسبات توجه خطی را برای ورودی‌های بلند کاهش می‌دهد

پژوهشگران در پیش‌چاپی در arXiv، چارچوب SparseGDN را برای کاهش هزینهٔ پردازش ورودی‌های بلند در Gated Delta Networks معرفی کرده‌اند. با وجود زمان اجرای خطی این شبکه‌ها، مرحلهٔ آماده‌سازی ورودی همچنان به‌دلیل محاسبات متراکم درون هر بخش، به‌روزرسانی‌های حالت بازگشتی و ذخیرهٔ حالت‌های میانی پرهزینه است.

SparseGDN از یک حل‌گر مجاورِ بلوکی برای کاهش محاسبات محلی Delta و یک گزینش‌گر پویا برای تخصیص بودجهٔ به‌روزرسانی بازگشتی میان جفت‌های سر استفاده می‌کند. پیاده‌سازی GPU فقط به‌روزرسانی رویدادهای منتخب را می‌سازد و با استفاده از نسخه‌های فشردهٔ حالت و تعاملات محلی گروهی، خروجی همهٔ توکن‌ها را بازسازی می‌کند. چکیدهٔ در دسترس، جزئیاتی از نتایج ارزیابی ارائه نمی‌کند.