پژوهشگران می‌گویند خروجی کارشناسان مدل‌های MoE افزونگی ساختاری دارد

مدل‌های کم‌تراکم Mixture-of-Experts (MoE) می‌توانند توازن میان ظرفیت مدل و کارایی استنتاج را بهبود دهند؛ اما در کاربرد عملی همچنان باید همهٔ کارشناسان ذخیره شوند، موضوعی که مصرف حافظه را بالا می‌برد. نویسندگان پیش‌چاپ arXiv می‌گویند خروجی کارشناسان در لایه‌های MoE افزونگی ساختاری دارد: در مدل‌ها و دسته‌های وظیفهٔ مختلف، stable rank و entropy effective rank خروجی‌ها به‌طور پیوسته از شمار اسمی کارشناسان کمتر است و توزیع خروجی‌ها نیز حالت‌های مؤثر کمتری نشان می‌دهد.

بر پایهٔ این مشاهده، پژوهش هرس کارشناسان را مسئلهٔ انتخاب زیرمجموعه‌ای می‌داند که ساختار را حفظ کند و می‌گوید می‌توان آن را با راهبردی حریصانه بهینه کرد؛ رویکردی در برابر امتیازدهی و رتبه‌بندی مستقل کارشناسان. متن در دسترس از چکیدهٔ پیش‌چاپ، جزئیات نتایج کمی یا میزان کاهش حافظه را ارائه نمی‌کند.