هوش مصنوعی
BasisKV می‌کوشد فشرده‌سازی KV-cache را با کاهش ارتباطات چندپردازنده‌ای همراه کند
پیش‌چاپی در arXiv به هزینهٔ ارتباط میان GPUها در استنتاج توزیع‌شدهٔ مدل‌های زبانی بلندمتن می‌پردازد و می‌گوید نمایش کم‌رتبهٔ Value می‌تواند هم فشرده‌سازی و هم ارتباطات را بهبود دهد.
هزینهٔ نگهداری KV-cache که با افزایش طول متن رشد می‌کند، یکی از محدودیت‌های استنتاج مدل‌های زبانی بزرگ است. فشرده‌سازی کم‌رتبهٔ Key و Value می‌تواند این حافظه را با افت کیفیت اندک کاهش دهد؛ اما نویسندگان پیش‌چاپ BasisKV می‌گویند کارهای پیشین عمدتاً فشرده‌سازی را جدا از استنتاج توزیع‌شده بررسی کرده‌اند.
این پیش‌چاپ، به‌ویژه بر tensor parallelism تمرکز دارد؛ روشی که در آن محاسبات attention میان چند GPU تقسیم می‌شود و ارتباط میان پردازنده‌ها هزینه‌بر است. نویسندگان همچنین می‌گویند می‌توان فشرده‌سازی Value را به projection خروجی مرتبط کرد تا یک نمایش کم‌رتبهٔ مشترک برای Value، هم فشرده‌سازی Value و هم ارتباطات را کاهش دهد. متن در دسترس، جزئیات بیشتری دربارهٔ نتایج یا میزان این کاهش ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده