PyTorch 2.15 اجرای مدل‌ها روی Mac را با پشتیبانی FP8 و مسیرهای سریع‌تر تقویت می‌کند

PyTorch 2.15 چند بهبود برای اجرای مدل‌های یادگیری ماشین روی Macهای مجهز به Apple silicon دارد: تانسورهای FP8 روی MPS، مسیرهای سریع‌تر برای لایه‌های خطی هنگام رمزگشایی مدل‌های زبانی و هسته‌های تازهٔ Metal برای بخش‌هایی از پردازش صوت، ویدئو و آموزش. این نسخه به macOS 15 یا جدیدتر و Python 3.11 یا جدیدتر نیاز دارد؛ بررسی دسترس‌پذیری MPS نیز اکنون علت آماده‌نبودن آن را، از جمله قدیمی‌بودن سیستم‌عامل یا نبود GPU مبتنی بر Metal، گزارش می‌کند.

پشتیبانی از نوع `torch.float8_e4m3fn` امکان ذخیرهٔ هر مقدار در یک بایت را فراهم می‌کند؛ یعنی نصف فضای FP16 یا BF16. این تانسورها را می‌توان با `F.scaled_mm` و مقیاس‌دهی در سطح تانسور یا سطر ضرب کرد.

در مرحلهٔ تولید توکن، ورودی هر گام معمولاً یک سطر است و ضرب‌های ماتریسی بزرگ به ضرب‌های ماتریس‌ـ‌بردار تبدیل می‌شوند. PyTorch 2.15 هسته‌های GEMV موجود برای `torch.mm` را به `F.linear` هم متصل می‌کند؛ در نتیجه ورودی‌های متداول با شکل `[1, 1, hidden_size]` می‌توانند مستقیماً از این مسیر استفاده کنند و در موارد واجد شرایط، افزودن bias نیز با آن ادغام می‌شود. در آزمون ۹۶ شکل لایهٔ BF16 از مدل‌های واقعی، سرعت به‌طور میانگین هندسی ۱٫۲۳ برابر افزایش یافت. این نسخه همچنین لایه‌های mixture-of-experts را در مسیر رمزگشایی هدف می‌گیرد.