هوش مصنوعی
FlashOffloading برای افزایش توان سرویس‌دهی مدل‌های زبانی بلندمتن، KV cache را به DRAM منتقل می‌کند
پیش‌چاپی در arXiv از معماری‌ای برای کاهش تأخیر این انتقال خبر می‌دهد؛ آزمایش‌ها با GLM-5.2 روی پلتفرم Ascend910C، افزایش توان پیش‌پردازش تا ۱٫۳۸ برابر و رمزگشایی تا ۱٫۹۱ برابر را گزارش می‌کنند.
در سرویس‌دهی مدل‌های زبانی بزرگ، KV cache با طول توالی و تعداد درخواست‌های هم‌زمان رشد می‌کند و می‌تواند ظرفیت حافظهٔ پهن‌باند GPU (HBM) را محدود کند. انتقال این حافظهٔ موقت به DRAM میزبان، فضای HBM را آزاد می‌کند، اما مدیریت cache و بارگذاری داده از میزبان به دستگاه (H2D) ممکن است تأخیر را بالا ببرد و مانع تبدیل هم‌زمانی بیشتر به توان عملیاتی مؤثر شود.
پژوهشگران در پیش‌چاپ FlashOffloading معماری‌ای مبتنی بر DRAM میزبان معرفی کرده‌اند که KV cache را در هر دو مرحلهٔ prefill و decode به‌طور کامل از HBM خارج می‌کند. این روش از cache چرخشی HBM برای prefill، cache پرکاربرد برای decode، نمایهٔ پراکندهٔ معکوس برای یافتن داده بدون سربار اضافهٔ جست‌وجوی cache miss، و هسته‌ای برای هم‌پوشانی محاسبه با بارگذاری استفاده می‌کند.
در آزمایش‌ها، پژوهشگران GLM-5.2 را با رمزگشایی حدسی MTP3 روی پلتفرم تفکیک‌شدهٔ prefill و decode مبتنی بر Ascend910C اجرا کردند. با محدودیت زمان هر توکن خروجی (TPOT) برابر با ۳۰ میلی‌ثانیه، توان prefill تا ۱٫۳۸ برابر و توان decode تا ۱٫۹۱ برابر افزایش یافت. مقاله همچنین می‌گوید FlashOffloading در یک چارچوب متن‌باز سرویس‌دهی ادغام شده است؛ پیش‌چاپ جزئیات بیشتری از میزان بهبود در شرایط دیگر ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده