هوش مصنوعی
پژوهش arXiv بررسی می‌کند ظرفیت ناوگان و مسیریابی درخواست‌ها چه نقشی در خدمت‌دهی بالینی LLMها دارند
این مطالعه با محیطی کنترل‌شده و چهار GPU، ترکیب مدل‌ها و سیاست‌های مسیریابی را برای بارهای کاری متنوع پردازش زبان بالینی می‌سنجد؛ چکیدهٔ در دسترس نتیجهٔ آزمایش‌ها را بیان نمی‌کند.
پیش‌چاپی در arXiv به بررسی این پرسش می‌پردازد که هنگام اجرای مدل‌های زبانی بزرگ (LLM) با بودجهٔ ثابت شتاب‌دهنده، اهمیت ترکیب ناوگان مدل‌ها در مقایسه با شیوهٔ مسیریابی درخواست‌ها چقدر است. پژوهشگران می‌گویند با وجود مطالعات فراوان دربارهٔ مسیریابی و کارایی خدمت‌دهی LLMها، نقش نسبی این دو عامل در شرایط محدودیت منابع کمتر روشن بوده است.
آزمایش‌ها در محیطی کنترل‌شده با چهار GPU انجام شده و سه نوع بار کاری پردازش زبان بالینی را دربر می‌گیرد: راستی‌آزمایی کوتاه و واقعیت‌محور، تطبیق معنایی زیست‌پزشکی و خلاصه‌سازی بالینی با متن بلند. پژوهشگران ترکیب ناوگان، سیاست مسیریابی و میزان بار ورودی را به‌طور نظام‌مند تغییر داده‌اند و در عین حال ردّ بار کاری و سخت‌افزار را ثابت نگه داشته‌اند. چکیدهٔ ارائه‌شده جزئیات بیشتری از روش یا نتایج مطالعه ندارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده