هوش مصنوعی
ACCT انتقال زمینه میان مدل‌های هم‌خانوادهٔ هوش مصنوعی را هدف می‌گیرد
پیش‌چاپی در arXiv روشی برای انتقال KV cache میان مدل‌های زبانی بزرگ با اندازه‌های متفاوت معرفی می‌کند تا مدل مقصد مجبور نباشد زمینهٔ تکراری را دوباره پردازش کند.
در سامانه‌هایی که هنگام پاسخ‌گویی به‌صورت پویا میان مدل‌های زبانی بزرگ جابه‌جا می‌شوند، هر مدل تازه معمولاً باید زمینهٔ ورودی را دوباره پردازش کند؛ کاری که هزینهٔ محاسباتی را افزایش می‌دهد. پژوهشگران در پیش‌چاپی با نام ACCT (Asymmetric Cross-LLM Context Transfer) روشی برای استفادهٔ دوباره از این محاسبات پیشنهاد کرده‌اند.
ACCT، طبق چکیدهٔ مقاله، KV cache تولیدشده توسط یک مدل مبدأ را به حالت‌های KV پراکنده تبدیل می‌کند تا مدل مقصد بتواند مستقیماً از آن‌ها استفاده کند. این روش برای انتقال میان مدل‌هایی با اندازه‌های متفاوت در یک خانوادهٔ مدل طراحی شده است. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ ارزیابی یا میزان صرفه‌جویی محاسباتی ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده