هوش مصنوعی

روش D3D با پیش‌نویس‌سازی ناهمگام، رمزگشایی مدل‌های زبانی را سریع‌تر می‌کند

پژوهشگران می‌گویند D3D با جداکردن تولید توکن‌های پیشنهادی از وضعیت‌های پنهان مدل هدف، اجازه می‌دهد پیش‌نویس بلوک‌های بعدی هم‌زمان با راستی‌آزمایی تولید شود.

۲ دقیقه مطالعه
Figure 1: Overview of D3D. (a) Drafter training. Target-generated responses supervise blockwise denoising and auxiliary autoregressive prediction. Packed attention shares causal prefix computation while isolating diffusi
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپی در arXiv روش D3D را برای شتاب‌دادن به رمزگشایی حدسی معرفی می‌کند؛ روشی که در آن یک مدل پیش‌نویس، توکن‌های پیشنهادی را برای مدل هدف تولید می‌کند. در روش‌های مبتنی بر diffusion، تولید بلوک بعدی معمولاً باید تا دریافت وضعیت‌های پنهانِ به‌روزشده از مدل هدف منتظر بماند؛ بنابراین پیش‌نویس‌سازی و راستی‌آزمایی به‌ترتیب انجام می‌شوند.

D3D یک پیش‌نویس‌ساز diffusion مستقل است که با ترکیب حذف نویز بلوکی و نظارت خودرگرسیو کمکی، به گفتهٔ پژوهشگران، پیشوندهای پذیرفته‌شدهٔ بلندی تولید می‌کند، بی‌آنکه به وضعیت‌های پنهان مدل هدف نیاز داشته باشد. این استقلال امکان می‌دهد بلوک‌های بعدی در یک گذرِ بسته‌بندی‌شده و هم‌زمان با راستی‌آزمایی پیش‌نویس شوند. پژوهشگران برای کاهش هزینهٔ این فرایند، لایه‌ها را بر اساس اثرشان بر طول دنبالهٔ پذیرفته‌شده به‌تدریج هرس کرده‌اند؛ حذف پنج لایه از ۳۶ لایه، در سه بنچمارک و با مدل هدف Qwen3-8B، بیش از ۹۹ درصد میانگین طول پذیرش را حفظ کرده است.

در هفت بنچمارک، میانگین شتاب اعلام‌شده برای D3D با مدل‌های هدف Qwen3-8B و Qwen3-32B به‌ترتیب ۵ و ۵٫۷۱ برابر بوده است. ارقام گزارش‌شده برای DFlash، روش مقایسه‌شده در پژوهش، به‌ترتیب ۴٫۰۳ و ۳٫۶۷ برابر است. در بنچمارک GSM8K و با Qwen3-32B، شتاب D3D به ۷٫۴۸ برابر رسیده است. این نتایج در نسخهٔ پیش‌چاپ گزارش شده‌اند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست