زیرساخت و توسعه
SageMaker Inference از تقسیم‌بندی GPU با فناوری MIG پشتیبانی می‌کند
قابلیت جدید AWS امکان اجرای مدل‌های جداگانه روی بخش‌های سخت‌افزاری ایزوله‌شدهٔ یک GPU را فراهم می‌کند؛ جزئیات نتایج مقایسه در دادهٔ منبع ارائه نشده است.
Amazon SageMaker Inference اکنون از فناوری Multi-Instance GPU (MIG) انویدیا پشتیبانی می‌کند. این فناوری یک GPU را به چند بخش سخت‌افزاری ایزوله تقسیم می‌کند تا هر بخش بتواند مدل متفاوتی را اجرا کند یا سهمی متناسب از یک شتاب‌دهندهٔ جدیدتر در اختیار مدل قرار گیرد. به‌گفتهٔ AWS، دو فیلد اختیاری API امکان می‌دهند برای هر بخش یک مدل تعیین شود. دادهٔ منبع به مقایسه با یک GPU قدیمی‌تر اشاره می‌کند، اما ارقام یا نتیجهٔ آن را در اختیار نمی‌گذارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: AWS AI Blog — مشاهده منبع اصلی ↗
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده