پژوهشگران مسیر ورود اطلاعات نامرتبط به محاسبات مدل‌های زبانی را شناسایی کردند

پژوهشگران در پیش‌چاپی در arXiv سازوکاری را شرح داده‌اند که به‌گفتهٔ آن‌ها توضیح می‌دهد چرا مدل‌های زبانی با وجود دریافت اطلاعات نامرتبط، پاسخ‌های کم‌دقت‌تری می‌دهند. منظور از این اطلاعات، متن‌هایی از حوزه‌های بی‌ارتباط یا حتی توکن‌های تصادفی است که نه پاسخ رقیبی ارائه می‌کنند و نه از نظر معنایی با پرسش هم‌پوشانی دارند؛ بااین‌حال، چنین نویزی ممکن است در سامانه‌های بازیابی‌افزوده، ابزارمحور و دارای زمینهٔ طولانی ظاهر شود.

این گروه مسیر مورد بررسی را «مسیر نفوذ» نامیده است. به‌گفتهٔ پژوهشگران، شبکه‌های MLP بازنمایی موضوع پرسش و توکن‌های نامرتبط را غنی‌تر می‌کنند و برخی سرهای توجه، محتوای توکن‌های ابتدای متن را به موقعیت پیش‌بینی انتقال می‌دهند. در مقابل، سازوکارهایی که روابط را می‌خوانند عمدتاً از منابع نامرتبط دوری می‌کنند؛ اما این انتخاب‌گری مانع تداخل در محاسبات کلی مدل نمی‌شود.

پژوهشگران بخشی از این تداخل را به گروهی محدود از سرهای توجه، موسوم به «سرهای نفوذ»، نسبت می‌دهند. این سرها محتوای مرتبط با عامل حواس‌پرت‌کن را تقویت می‌کنند و پشتیبانی آن‌ها از پاسخ درست نیز عمدتاً به‌دلیل ضعیف‌ترشدن سهم‌های غیرمرتبط با پیشوند کاهش می‌یابد، نه سرکوب مستقیم پاسخ به‌وسیلهٔ پیشوند. به‌گفتهٔ مقاله، این سرها در وظایف و انواع حواس‌پرت‌کن‌ها قابل انتقال‌اند و تا حد زیادی با سرهایی که شواهد مرتبط را وارد مدل می‌کنند، هم‌پوشانی وزنی ندارند.

در چهار وظیفهٔ پایین‌دستی، جایگزینی بردار باقی‌ماندهٔ آخرین توکنِ مخدوش‌شده با نسخهٔ پاک آن، که به اجرای موازی و پاکِ متن نیاز دارد، به‌طور میانگین ۹۷٫۶ درصد از افت ناشی از حواس‌پرت‌کن‌ها را جبران کرد. مداخله‌ای عملی‌تر که حدود ده سر، نزدیک به یک درصد از سرهای توجه مدل، را خاموش می‌کند، ۵۷ درصد از افت را جبران کرد؛ مقاله هزینهٔ این روش را برای استفاده از زمینهٔ مفید «محدود» توصیف می‌کند. این نتایج در یک پیش‌چاپ گزارش شده‌اند.