هوش مصنوعی
پژوهشگران دو روش تازه برای فشرده‌سازی KV-cache در سازوکار توجه پیشنهاد کردند
پیش‌چاپی در arXiv مسئلهٔ فشرده‌سازی context را با صورت‌بندی آن در فضای هیلبرتِ متناظر با kernel بررسی می‌کند.
سازوکار توجه در مدل‌های زبانی با افزایش اندازهٔ context هزینهٔ محاسباتی درجه‌دوم پیدا می‌کند؛ همین مسئله توجه پژوهشگران را به فشرده‌سازی context یا KV-cache جلب کرده است. نویسندگان این پیش‌چاپ مسئله را در فضای هیلبرتِ وابسته به kernel صورت‌بندی می‌کنند و توجه را به شکل نسبت دو نگاشت خطی نمایش می‌دهند. از آنجا که در این صورت‌بندی، درون‌یاب توجه نیز نسبت درون‌یاب‌های آن نگاشت‌هاست، پژوهشگران درون‌یابی مستقیم نگاشت‌های خطی را مبنای کار قرار داده‌اند. بر این اساس، دو روش فشرده‌سازی KV-cache با نام‌های GAIM و Q-DAIM معرفی شده‌اند. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ عملکرد این روش‌ها ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده