مدل‌سازی فیزیکی، خطای رمزگشایی موازی در مدل‌های انتشار ماسک‌شده را توضیح می‌دهد

مدل‌های انتشار ماسک‌شده می‌توانند برخلاف مدل‌های خودبازگشتی، چند توکن را هم‌زمان آشکار کنند؛ اما چون توکن‌های آشکارشده در یک مرحله مستقل از هم نمونه‌گیری می‌شوند، این روش ممکن است خطا ایجاد کند. پژوهشگران در پیش‌چاپی در arXiv این بده‌بستان را با فیزیک آماری سامانه‌های چندذره‌ایِ رانده‌شده مرتبط می‌کنند.

به‌گزارش چکیدهٔ پژوهش، برای هر نوع داده، خطای تولید موازی برابر با تولید آنتروپی فرایند تولید نسبت به فرایند معکوسِ ماسک‌گذاری است. در داده‌های مارکوف، فرایند تولید به مسئله‌ای از نوع «جذب تصادفی متوالی» با فاصله‌های برچسب‌دار نگاشت می‌شود؛ پژوهشگران می‌گویند این مدل را برای هر تعداد گام به‌طور دقیق حل کرده‌اند.

در حالت چندگامی، خطا به اتلاف یک سامانه با تغییر آهسته تبدیل می‌شود. در این چارچوب، برنامهٔ آشکارسازی توکن‌ها نقش پروتکل رانش را دارد و تعداد گام‌ها مدت آن را تعیین می‌کند. پژوهش همچنین معیاری ترمودینامیکی برای این خطا ارائه می‌کند که از اطلاعات متقابل میان توکن‌ها به‌دست می‌آید؛ برنامه‌های بهینه، مسیرهای ژئودزیک این معیار هستند.

نتایج مدل نشان می‌دهد طولانی‌تر بودن هم‌بستگی‌های متن، خطا را بیشتر در آغاز تولید متمرکز می‌کند. بنابراین، شروع با گام‌های کوچک‌تر می‌تواند خطای مسیر و perplexity را کاهش دهد و رسیدن به رفتار مجانبی را به گام‌های کمتری نیازمند کند. این مقاله در arXiv منتشر شده و پیش‌چاپ است.