روش پیشنهادی برای تنظیم رمزگشایی حدسی در مدل‌های ترکیبی GDN-MoE

در رمزگشایی حدسی، مدل هدف پیش‌نویس چند توکن را هم‌زمان بررسی می‌کند. طول تأیید—تعداد توکن‌هایی که مدل در هر دور پردازش می‌کند—نقشی محوری دارد: طول بیشتر می‌تواند توکن‌های بیشتری را بپذیرد، اما اگر نخستین توکن رد شود، پردازش توکن‌های بعدی آن دور هدر می‌رود.

پیش‌چاپ HybridSpec بررسی می‌کند که این انتخاب برای مدل‌های ترکیبیِ دارای لایه‌های Gated DeltaNet (GDN) و mixture-of-experts (MoE) چه پیامدهایی دارد. بر اساس چکیدهٔ مقاله، زمان تأیید در این مدل‌ها با افزایش طول، سریع‌تر از مدل‌های متراکم رشد می‌کند. در سنجش تک‌درخواستی Qwen3.6-35B-A3B همراه با DFlash، افزایش طول از ۴ به ۱۶ توکن، زمان را ۷۱ درصد بالا برد؛ در مدل متراکم Qwen3-4B این افزایش ۴ تا ۶ درصد بود. مقاله می‌گوید رشد زمان در مدل ترکیبی تقریباً به‌طور کامل از لایه‌های GDN و MoE ناشی شده است.