روش GAAC فشرده‌سازی بدون افتِ KV cache را برای اجرای مدل‌های زبانی روی دستگاه‌های شخصی ارائه می‌کند

پژوهشگران در پیش‌چاپی در arXiv روش Group-Adaptive Additive Codec یا GAAC را معرفی کرده‌اند؛ سامانه‌ای برای فشرده‌سازی بدون افتِ حافظهٔ کلید-مقدار (KV cache) که هدفش کاهش مصرف حافظه و بهبود اجرای مدل‌های زبانی بزرگ در استنتاج‌های دارای زمینهٔ طولانی، از جمله روی دستگاه‌های شخصی است. برخلاف فشرده‌سازی‌های تقریبی، GAAC مقادیر KV را بیت‌به‌بیت حفظ می‌کند.

این روش از افزونگی نماها در داده‌های BF16 بهره می‌گیرد و آن‌ها را با کدهای پایه‌به‌علاوهٔ جابه‌جایی، به‌صورت کالیبره‌شده برای هر کانال، نمایش می‌دهد. پهنای کدها در گروه‌های کوچک تطبیق می‌یابد. یک هستهٔ توجهِ ادغام‌شده نیز بخش‌های لازم از KV را هنگام اجرا بازسازی می‌کند و نیاز به بازکردن کامل کل حافظهٔ فشرده‌شده را از میان می‌برد. فشرده‌سازی بلوکی و جایگاه‌های با ظرفیت ثابت، به‌روزرسانی تدریجی cache و سرویس‌دهی صفحه‌بندی‌شده را پشتیبانی می‌کنند.

در پنج مدل آزمایش‌شده، GAAC فشرده‌سازی بدون افتِ ۱٫۴۰۵ تا ۱٫۴۰۷ برابری برای BF16 به دست آورد. نسبت فشرده‌سازی برای cacheهای کم‌دقت‌تر FP8 E4M3 برابر ۱٫۰۹ تا ۱٫۱۴ و برای E5M2 برابر ۱٫۲۵ تا ۱٫۳۰ گزارش شده است.

روی NVIDIA DGX Spark و در زمینهٔ ۶۴هزار توکنی، سرعت attention در مرحلهٔ decode بین ۱٫۱۹ تا ۱٫۲۷ برابر شد و گام‌های کامل decode با W4A16 بین ۱٫۰۴ تا ۱٫۱۵ برابر شتاب گرفتند. در آزمون سرویس‌دهی، مصرف حافظهٔ KV مقیم حدود ۲۶ درصد کاهش یافت و توان عملیاتی تجمیعی، با بودجهٔ حافظهٔ KV قابل‌مقایسه، ۱۳ تا ۲۹ درصد افزایش پیدا کرد. پژوهشگران همچنین روی Apple M4 شتاب ۱٫۰۲ تا ۱٫۲۵ برابری attention را گزارش کرده‌اند.