پل توجه متقاطعِ صفرآغاز، رفتار مدل زبانی را در شروع بی‌تغییر نگه می‌دارد

پژوهشگران روشی به نام «توجه متقاطعِ دروازه‌گذاری‌شدهٔ استقرایی» (IGCA) معرفی کرده‌اند تا افزودن ورودی‌های غیرمتنی به مدل‌های زبانیِ ازپیش‌آموزش‌دیده، ناپایداری اولیهٔ آموزش را کاهش دهد. این روش از یک پلِ توجه متقاطع با مقداردهی اولیهٔ صفر استفاده می‌کند؛ در نتیجه، مدل در آغاز دقیقاً همان رفتار پیشین را دارد و شرط‌دهی چندوجهی به‌تدریج فعال می‌شود.

در آزمایش‌ها، IGCA به شش لایهٔ رمزگشای مدل‌های منجمد Falcon-40B، open_llama_30b و Bloom-7b1 افزوده شد. نویسندگان گزارش می‌کنند که روش در نقطهٔ شروع از نظر جبری بی‌اثر است و اختلاف بیشینهٔ خروجی آن با مدل اصلی صفر بوده است. چکیده همچنین به آموزش Falcon-40B طی ۵۹٬۵۰۰ گام اشاره می‌کند، اما متن در دسترس پیش از ارائهٔ نتیجهٔ کامل تغییرات زیان آموزشی قطع می‌شود.