هوش مصنوعی
Split-KV؛ روشی برای موازی‌سازی کارآمدتر آموزش مدل‌های Diffusion Drafter
پیش‌چاپی در arXiv روشی دقیق برای موازی‌سازی پردازش زمینه معرفی می‌کند که عدم‌تقارن میان پرس‌وجوهای کوتاه و زمینهٔ بلند را در آموزش Diffusion Drafter در نظر می‌گیرد.
مدل‌های Diffusion Drafter با پالایش هم‌زمان چند توکن پیشنهادی، به شتاب‌دهی speculative decoding کمک می‌کنند. آموزش آن‌ها با anchor sampling، پرس‌وجوهای فشرده می‌سازد و برای توجه متقاطع از ماسکی block-sparse روی زمینه‌ای بسیار بلندتر استفاده می‌کند.
نویسندگان گزارش می‌کنند که با ثابت‌ماندن بودجهٔ پرس‌وجو، طول پذیرش هنگام افزایش اندازهٔ زمینه پایدار می‌ماند؛ افزایش بودجهٔ پرس‌وجو نیز بهبود کیفیتِ کاهنده‌ای به همراه دارد. به‌گفتهٔ آن‌ها، این نتایج وضعیتی عملی را نشان می‌دهد که در آن پرس‌وجوها بسیار کوتاه‌تر از زمینه‌اند.
پیش‌چاپ می‌گوید روش‌های موجود برای موازی‌سازی زمینه، هم‌زمان این عدم‌تقارن و نیاز به متوازن‌کردن بارِ غیرخطی و وابسته به نمونه را که از anchor sampling ناشی می‌شود، پوشش نمی‌دهند. نویسندگان Split-KV را به‌عنوان روشی دقیق برای موازی‌سازی زمینه معرفی می‌کنند؛ اما متن چکیدهٔ ارائه‌شده پیش از توضیح سازوکار کامل این روش قطع می‌شود.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده