پژوهش
LoopVQ برای کاهش حافظهٔ KV cache در ترنسفورمرهای حلقه‌ای پیشنهاد شد
پیش‌چاپی در arXiv روش کمّی‌سازی برداریِ زیر یک بیت را معرفی می‌کند؛ روشی که از افزونگی میان گام‌های حلقه و حساسیت متفاوت آن‌ها به کمّی‌سازی بهره می‌گیرد.
ترنسفورمرهای حلقه‌ای با اجرای دوبارهٔ لایه‌های یکسان در چند گام، می‌توانند با پارامترهای کمتر به عملکرد مدل‌های زبانی غیرحلقه‌ایِ چند برابر بزرگ‌تر برسند. اما حافظهٔ مربوط به پارامترها تنها محدودیت نیست: هر گام حلقه کلیدها و مقادیر خود را در KV cache نگه می‌دارد و در نتیجه، این حافظه با شمار گام‌ها رشد می‌کند و به گلوگاه اصلی تبدیل می‌شود.
پژوهشگران می‌گویند KV cache در امتداد گام‌های حلقه افزونگی زیادی دارد و گام‌ها نیز به یک اندازه در برابر کمّی‌سازی حساس نیستند. بر همین اساس، آن‌ها LoopVQ را پیشنهاد کرده‌اند؛ روشی برای کمّی‌سازی برداری KV cache با نرخ زیر یک بیت. اطلاعات موجود در چکیدهٔ پیش‌چاپ جزئیات بیشتری دربارهٔ نتایج ارزیابی این روش ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده