مقایسهٔ مدل‌های diffusion زبانی و پیشنهاددهنده‌های speculative در تولید مستقل متن

پژوهشگران در پیش‌چاپی در arXiv معماری مدل‌های زبانی diffusion پیوسته (CDLM) و مدل‌های speculative drafter را در حالت تولید مستقل مقایسه کرده‌اند؛ یعنی drafterها متن پیشنهادی را برای بررسی و اصلاح به مدل هدف نمی‌فرستند. در این آزمایش، CDLMها با LangFlow و معماری‌های Markov و recurrent-head از DSpark برای تولید مستقل به کار گرفته شده‌اند.

همهٔ مدل‌ها از ابتدا و برای تولید بی‌قیدوشرط متن OpenWebText در بلوک‌های تکی با طول‌های ۱۶، ۱۲۸ و ۱۰۲۴ آموزش دیده‌اند. پژوهشگران از پیش‌پردازش، ابعاد backbone و بودجهٔ به‌روزرسانی آموزشی مشترک استفاده کرده‌اند و عملکرد تولید را با معیار GenPPL و یک مدل خارجی سنجیده‌اند. چکیدهٔ منبع موجود، مقدار یا نتیجهٔ این ارزیابی را بیان نمی‌کند.