هوش مصنوعی
HyScale آموزش مدل‌های دارای توجه تنک را روی توالی‌های یک‌میلیون‌توکنی سریع‌تر می‌کند
این سامانه با یافتن مستقیم توکن‌های برتر و استفادهٔ دوباره از نتیجهٔ انتخاب هنگام باز‌محاسبه، طبق پیش‌چاپ پژوهش، آموزش GLM-5.1 را روی ۵۱۲ پردازندهٔ H20 حدود ۲٫۰۷ برابر سریع‌تر کرده است.
گلوگاه توجه تنکِ آموختنی، انتخاب توکن‌هاست: برای هر پرس‌وجو باید امتیاز همهٔ توکن‌های قبلی محاسبه شود، هرچند سازوکار توجه در نهایت فقط به k توکن دسترسی پیدا می‌کند. سامانه‌های کنونی نیز جدول کامل امتیازها را می‌سازند و هنگام باز‌محاسبه، انتخاب را دوباره انجام می‌دهند.
پژوهشگران در پیش‌چاپ HyScale می‌گویند خروجی مرحلهٔ انتخاب، به‌جای یک فعال‌سازی، مجموعه‌ای از شاخص‌هاست. بر این مبنا، FlashTopK دقیقاً k گزینهٔ برتر را برای هر پرس‌وجو و بدون ساخت جدول امتیاز پیدا می‌کند؛ سازوکار selection replay هم نتیجهٔ انتخاب در گذر رو به جلو را هنگام باز‌محاسبه دوباره به کار می‌گیرد.
بر اساس چکیدهٔ مقاله، همراه با بهینه‌سازی‌های دیگر در سطح سامانه، HyScale آموزش GLM-5.1 را روی دنباله‌های یک‌میلیون‌توکنی و ۵۱۲ پردازندهٔ H20، در مقایسه با Megatron-LM، ۲٫۰۷ برابر سریع‌تر کرده است. در آزمایش‌هایی با ۳۲ پردازندهٔ H800 و همان طول دنباله، سرعت لایه‌های CSA در DeepSeek-V4-Flash، ۲٫۰۱ برابر و لایه‌های QSA در Qwen3.8-Flash-Next، ۱٫۵۷ برابر گزارش شده است. این نتایج در پیش‌چاپ arXiv ارائه شده‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده