خاموش‌کردن نیمی از expertها می‌تواند خطای مدل را تا ۲۸٬۷۴۰ برابر کند

پژوهشگران در پیش‌چاپی که در arXiv منتشر شده، چهار روش غیرفعال‌سازی expertها هنگام اجرای مدل را روی پنج checkpoint تنظیم‌شده برای دستورها از چهار خانوادهٔ مدل مقایسه کرده‌اند. نتیجهٔ اصلی این است که نحوهٔ وزن‌دهی expertهای باقی‌مانده باید با قاعده‌ای که مدل هنگام آموزش به‌کار برده سازگار باشد؛ ناسازگاری، در آزمایش‌ها با افزایش شدید perplexity همراه شد.

روش‌های بررسی‌شده عبارت بودند از حذف expert، ثابت نگه‌داشتن آن، بازنرمال‌سازی وزن expertهای باقی‌مانده و مسیریابی دوباره بدون نرمال‌سازی. پژوهشگران این روش‌ها را با مجموعه‌های یکسانی از expertهای غیرفعال‌شده آزمودند و یک checkpoint پایه از OLMoE را نیز به مقایسه افزودند.

وقتی نیمی از expertها بر پایهٔ رتبه‌بندی فعالیت غیرفعال شدند، نتیجه به قاعدهٔ آموزش وابستگی داشت: در مدل‌هایی که با احتمال‌های خام router آموزش دیده بودند، بازنرمال‌سازی expertهای باقی‌مانده بالاترین perplexity را داشت؛ در مدل‌هایی که وزن‌ها را نرمال کرده بودند، مسیریابی دوبارهٔ بدون نرمال‌سازی بدترین نتیجه را داد. در صورت حفظ قاعدهٔ آموزش، perplexity از ۱٫۴ تا ۷۳ برابر خط پایهٔ مدل دست‌نخورده بود؛ اما با ناسازگاری قاعده، این نسبت به ۱۴ تا ۲۸٬۷۴۰ برابر رسید.

نتیجهٔ ارزیابی وظایف نیز یکسان نبود. برای نمونه، دقت strict-match مدل OLMoE در آزمون GSM8K تحت هر چهار روش به صفر رسید. پژوهشگران همچنین پیش‌بینی کردند که با فعال‌بودن تعداد کمتری از expertها، هزینهٔ perplexity ناشی از بازنرمال‌سازی بیشتر می‌شود؛ آزمایش‌های OLMoE از این پیش‌بینی پشتیبانی کردند.