روش RECAP رمزگشایی مدل‌های بینایی‌ـ‌زبان را بدون آموزش تا ۱٫۶۶ برابر سریع‌تر می‌کند

پیش‌چاپی در arXiv روش RECAP را برای شتاب‌دادن به رمزگشایی حدسی در مدل‌های بینایی‌ـ‌زبان معرفی می‌کند. این روش پیش‌بینی‌های خود مدل را بازیافت می‌کند و برای ساخت پیش‌نویس به آموزش یا مدل کمکی نیاز ندارد.

روش‌های قبلی معمولاً پیش‌بینی‌ها را فقط با آخرین توکن فهرست می‌کردند؛ در نتیجه، پیش‌بینی‌هایی که با تصویرها یا پیشوندهای متفاوت به‌دست آمده بودند با هم اشتباه گرفته می‌شدند. نویسندگان می‌گویند این مشکل بیشتر در موقعیت‌هایی رخ می‌دهد که تولید متن به تصویر حساس است. کلیدهای طولانی‌تر این تداخل را کاهش می‌دهند، اما موارد منطبق کمتری پیدا می‌کنند.

RECAP پیش‌بینی‌ها را با کلیدهای یک، دو و سه‌توکنی ذخیره می‌کند. حافظه‌های زمینه‌ای فقط در طول درخواست جاری باقی می‌مانند و بنابراین به‌طور ضمنی به تصویر همان درخواست وابسته‌اند؛ حافظهٔ تک‌توکنی نیز بین درخواست‌ها حفظ می‌شود تا پوشش بیشتری فراهم کند. هنگام بازیابی، روش با وزن‌دهی مبتنی بر آنتروپی و اطمینان، پیش‌بینی‌های بازیابی‌شده را ترکیب می‌کند. سپس جست‌وجوی بهترین‌اول، مسیرهای ممکن را در قالب درختی از نامزدها می‌سازد و یک بار اجرای مدل اصلی درستی آن‌ها را تحت رمزگشایی حریصانه بررسی می‌کند.

در هفت بنچمارک تک‌نوبتی، میانگین سرعت RECAP نسبت به رمزگشایی خودبازگشتی برای Qwen2.5-VL-7B برابر ۱٫۶۶ برابر و برای LLaVA-1.6-7B برابر ۱٫۵۶ برابر گزارش شده است. این ارقام از نتایج روش بی‌آموزش Token Recycling ــ به‌ترتیب ۱٫۵۱ و ۱٫۳۷ برابر ــ بیشتر است. مقاله در حال حاضر پیش‌چاپ است.