پژوهش: مدل‌های MoE ممکن است مسیر پردازش داده‌های آموزشی را هم به خاطر بسپارند

پژوهشگران در پیش‌چاپی تازه می‌گویند مدل‌های زبانی Mixture-of-Experts (MoE) پس از fine-tuning ممکن است علاوه بر داده‌های آموزشی، مسیر داخلی پردازش آن‌ها را نیز حفظ کنند. این مسیر، به گفتهٔ نویسندگان، یک اثر انگشت مسیریابی ویژهٔ فرایند آموزش ایجاد می‌کند؛ پدیده‌ای که آن را «حافظه‌سپاری ساختاری» نامیده‌اند.

چکیدهٔ مقاله می‌گوید این الگو در آزمایش‌ها به‌طور مداوم، حتی با چند نمونهٔ آموزشی، دیده شده و شدت آن به انتخاب ماژول‌های قابل‌آموزش وابسته است. نویسندگان این موضوع را در بستری از کاربردهای توزیع‌شدهٔ MoE، از یادگیری فدرال تا سامانه‌های لبه‌ای-ابری، به‌عنوان سطحی کمتر بررسی‌شده از آسیب‌پذیری‌های امنیتی مطرح می‌کنند. اطلاعات در دسترس از پیش‌چاپ، جزئیات بیشتری دربارهٔ روش یا پیامدهای عملی این الگو ارائه نمی‌دهد.