Meta مدل چندوجهیِ متن‌باز Muse Spark Open را معرفی کرد

Hugging Face از Muse Spark Open، مدل وزن‌باز Meta، خبر داده است؛ مدلی چندوجهی با معماری ترکیبی متخصصان (MoE) که حدود ۸۱۶ میلیارد پارامتر دارد و در هر توکن نزدیک به ۴۲ میلیارد پارامتر آن فعال است. پنجرهٔ زمینهٔ مدل تا یک میلیون توکن می‌رسد و خروجی آن متن است؛ بنابراین می‌توان از یک رابط برای پرسش دربارهٔ ورودی‌های گوناگون استفاده کرد.

Meta این مدل را برای کدنویسی عامل‌محور آموزش داده است: خواندن کد، نوشتن و اشکال‌زدایی، و فراخوانی ابزارها. Muse Spark Open می‌تواند هنگام کار با کد، تصویر، صدا و ویدئو را هم دریافت کند؛ برای مثال اسکرین‌شات را بخواند یا به یادداشت صوتی گوش دهد. این مدل برای گردش‌کارهای واقعی توسعه‌دهندگان، از بازآرایی چندفایلی تا نشست‌های طولانی اشکال‌زدایی، بهینه شده و در کارهای طولانی برنامه‌ریزی، اقدام، مشاهده و اصلاح را دنبال می‌کند.

این مدل نسخهٔ کامل‌ابعاد خانوادهٔ Muse است. مدل Muse Glimmer که Meta در اوت منتشر کرد، نمونه‌ای کوچک و متراکم از همین خانواده است و برای اجرای محلی مناسب توصیف شده است. هر دو مدل توکن‌ساز و واژگان یکسان دارند. مخزن‌های checkpoint با نام‌های Muse-Spark-Open-816B-A42B و Muse-Spark-Open-816B-A42B-NVFP4 منتشر شده‌اند.

در معماری Muse Spark Open، شبکهٔ پیش‌خور متراکمِ هر لایه با بلوک MoE جایگزین شده است. هر بلوک ۲۵۶ متخصص دارد؛ اما توضیح موجود دربارهٔ شمار متخصصانی که مسیریاب انتخاب می‌کند، در منبع ناقص است.