هوش مصنوعی
پژوهشگران GAUSS را برای شبیه‌سازی سرویس‌دهی استنتاج مدل‌های زبانی معرفی کردند
برای ادارهٔ زیرساخت تولید متن، دانستن میانگین توان عملیاتی کافی نیست؛ GAUSS بر پیش‌بینی تجربهٔ کاربران هنگام شلوغی سرویس تمرکز دارد.
مقاله‌ای پیش‌چاپ در arXiv، GAUSS را معرفی می‌کند؛ شبیه‌ساز تحلیلی و مونت‌کارلوییِ آگاه از بار کاری برای سرویس‌دهی استنتاج مدل‌های زبانی بزرگ. این ابزار زمان رسیدن نخستین توکن (TTFT)، فاصلهٔ زمانی میان توکن‌ها (TBT) و نرخ پایدار درخواست‌ها را پیش‌بینی می‌کند. پژوهشگران می‌گویند یک عدد کلی برای توان عملیاتی کافی نیست، چون تولید متن دو مرحله با ویژگی‌های متفاوت دارد، دسته‌بندی پیوسته پردازش درخواست‌ها را تغییر می‌دهد و تأخیرهای دنباله‌ایِ محسوس برای کاربر ممکن است پیش از اشباع توان عملیاتی بدتر شوند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗