مدل KV-PRM هزینهٔ ارزیابی عامل‌های هوش مصنوعی را تا ۵۰۰۰ برابر کاهش می‌دهد

مدل‌های پاداش فرایندی (PRM) برای هدایت روش‌های افزایش مقیاس هنگام استنتاج در سامانه‌های چندعاملی مفیدند، اما روش‌های متنیِ موجود برای هر ارزیابی، کل مسیر تولیدشده را دوباره پردازش می‌کنند. طبق مقاله‌ای در arXiv، هزینهٔ این کار با طول دنباله به‌صورت درجه‌دوم رشد می‌کند و در مسیرهای طولانی به گلوگاه محاسباتی تبدیل می‌شود.

پژوهشگران در روش KV-PRM به‌جای رمزگذاری دوبارهٔ متن، از KV cacheای استفاده می‌کنند که هنگام تولید پاسخ در مدل زبانی بزرگ شکل می‌گیرد. این روش با پردازش یک «توکن راستی‌آزمایی» در برابر cache موجود، هزینهٔ امتیازدهی را از O(L²) به O(L) کاهش می‌دهد؛ L طول دنباله است.

در آزمون‌های MATH، GSM8K و AIME، نویسندگان گزارش کرده‌اند که KV-PRM در روش‌هایی مانند Beam Search، جست‌وجوی درخت مونت‌کارلو (MCTS) و رأی‌گیری وزنی، با مدل‌های پاداش متنی هم‌سطح بوده یا از آن‌ها بهتر عمل کرده است. آن‌ها همچنین تا ۵۰۰۰ برابر کاهش در FLOPs امتیازدهی، ۳۷ برابر کاهش تأخیر و ۳۴ برابر کاهش حافظهٔ مصرفی برای هر دنباله گزارش می‌کنند. مقاله در توضیح نظری روش می‌گوید KV cache ظرفیت اطلاعاتی بیشتری از متن دارد؛ این نتایج و ادعاها در پیش‌چاپ پژوهشگران آمده‌اند.