چارچوبی برای سنجش جداگانهٔ هزینهٔ توجه و محاسبه در مدل‌های انتشار متن

پژوهشگران در پیش‌چاپی در arXiv با عنوان «Sparse Text Diffusion under Dual Budgets: Context Connectivity and Expert Activation» هزینه‌های مدل‌های انتشار متنِ دارای زمینهٔ طولانی را به دو بخش تقسیم کرده‌اند: یال‌های در دسترس در گراف توجه و تعداد expertهایی که برای هر توکن فعال می‌شوند. این صورت‌بندی، توجه محلی، گسترده‌شده و سراسری را به محاسبهٔ شرطیِ expertها پیوند می‌دهد؛ بدون آنکه فرض کند کم‌تراکم‌بودن به‌تنهایی اطلاعات کل سند را حفظ می‌کند.

مقاله توجهِ ماسک‌شدهٔ نرمال‌شده را تعریف می‌کند، عمق denoising را از تعداد تکرارهای نمونه‌گیری جدا می‌سازد و کران‌هایی برای گراف و محاسبات به دست می‌دهد. همچنین پیکربندی کم‌تراکمِ مبتنی بر expert با نام DualBudget را در خلاصه‌سازی علمی، پاسخ‌گویی به پرسش‌های چندمرحله‌ای، گفت‌وگو و پیش‌بینی جفت جمله تحلیل می‌کند. چکیدهٔ در دسترس جزئیات عددی نتایج یا مقایسهٔ عملکرد را ارائه نمی‌کند.