هوش مصنوعی
اجرای Muse Spark Open با ۸۱۶ میلیارد پارامتر روی چهار Mac Studio
اپل می‌گوید نسخهٔ تازهٔ MLX می‌تواند این مدل را با کمک اتصال RDMA روی Thunderbolt با سرعت بیش از ۳۶ توکن‌برثانیه اجرا کند؛ نتیجه‌ای که بر پایهٔ بنچمارک‌های این شرکت گزارش شده است.
اپل در گزارشی از نسخهٔ تازهٔ چارچوب متن‌باز MLX می‌گوید Muse Spark Open، مدلی با ۸۱۶ میلیارد پارامتر، روی خوشه‌ای از چهار Mac Studio بیش از ۳۶ توکن‌برثانیه تولید می‌کند. این شرکت اجرای مدل را با استفاده از درایور RDMA روی Thunderbolt ممکن کرده است. گزارش همچنین به اجرای محلی مدل‌ها روی یک Mac Studio با حداکثر ۵۱۲ گیگابایت حافظهٔ یکپارچه اشاره می‌کند.
اپل سه مدل را روی نسل تازهٔ Mac Studio با تراشهٔ M5 Ultra و نسل قبلی آن با M3 Ultra ارزیابی کرده است: Muse Spark Open با ۸۱۶ میلیارد پارامتر، Mistral Medium 3.5 با ۱۲۸ میلیارد و Qwen 3.8 با ۲۷ میلیارد پارامتر. Muse Spark Open از معماری Mixture of Experts استفاده می‌کند؛ در نتیجه فقط بخشی از متخصصان آن هنگام استنتاج فعال‌اند. این مدل در دقت NVFP4 سنجیده شده، درحالی‌که دو مدل دیگر معماری متراکم دارند و به‌ترتیب با دقت‌های FP8 و BF16 ارزیابی شده‌اند.
MLX از معماری حافظهٔ یکپارچهٔ تراشه‌های Apple silicon بهره می‌گیرد و به پژوهشگران و توسعه‌دهندگان امکان می‌دهد مدل‌ها و روش‌های استنتاج و ریزتنظیم را روی سخت‌افزار خود آزمایش کنند. اپل می‌گوید سنجش‌ها با بستهٔ MLX LM انجام شده و معیارهایی مانند زمان رسیدن به نخستین توکن، نرخ تولید توکن و بیشینهٔ مصرف برق را در اندازه‌های مختلف زمینه بررسی کرده است. داده‌های ارائه‌شده در منبع، نتایج کامل این سنجش‌ها را در بر نمی‌گیرد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: Apple Machine Learning — مشاهده منبع اصلی ↗