هوش مصنوعی
EchoKV خطای انباشته در حذف KV cache را با بازخورد تکرارشونده اصلاح می‌کند
پیش‌چاپی در arXiv نشان می‌دهد که فضای کاریِ نگه‌داشته‌شده برای ساخت پرس‌وجوهای حذف، بر کیفیت همان پرس‌وجوها اثر می‌گذارد. EchoKV با اصلاح تدریجی این فضا، در چند وظیفهٔ LongBench از روش LAQ بهتر عمل کرده است.
حذف از KV cache فقط به رتبه‌بندی توکن‌ها وابسته نیست: آنچه برای ساخت پرس‌وجوهای حذف در فضای کاری باقی می‌ماند نیز کیفیت پرس‌وجوها را تعیین می‌کند. به‌گفتهٔ پژوهشگران، خطای اولیه در این فضا می‌تواند مشاهدات بعدی را منحرف کند و تصمیم نادرست دربارهٔ حذف را تقویت کند؛ مشکلی که به‌ویژه وقتی شواهد در متن طولانی پراکنده‌اند اهمیت دارد.
پژوهشگران EchoKV را برای شناسایی و اصلاح این مشکل معرفی کرده‌اند. این روش ابتدا با پیشنهادهایی در موقعیت‌های رمزگشایی آینده، یک فضای کاری اولیه می‌سازد؛ سپس با استفاده از پرس‌وجوهایی که در مراحل ابتدایی رمزگشایی تولید می‌شوند، فضای کاری را پیش از ادامهٔ مراحل نگاه‌به‌آینده اصلاح می‌کند. EchoKV به‌اندازهٔ LAQ گذرهای رو‌به‌جلوی فضای کاری دارد، اما یک عملیات بازامتیازدهی تنسوری برای ترمیم آن اضافه می‌کند.
در ارزیابی روی ۱۶ وظیفهٔ LongBench با Mistral-7B-Instruct-v0.2 و Qwen2.5-7B-Instruct، EchoKV در چند وظیفهٔ نیازمند شواهد پراکنده، از جمله پرسش‌وپاسخ چندمرحله‌ای میان اسناد و درک متن بلندِ تک‌سندی، بهبودهایی نسبت به LAQ نشان داد. طبق چکیده، این روش در بودجه‌ها و مدل‌های پایهٔ مختلف، به‌طور انتخابی عملکرد وظایفِ نیازمند شواهد را بهتر کرد و در زیرمجموعه‌های دیگر LongBench عملکردی قابل‌مقایسه داشت. مقاله در arXiv به‌صورت پیش‌چاپ منتشر شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده