معیار ServerBench توانایی عامل‌های کدنویس را در طراحی سامانه‌های سرویس‌دهی LLM می‌سنجد

پژوهشگران در پیش‌چاپی در arXiv، ServerBench را معرفی کرده‌اند؛ معیاری برای سنجش توانایی عامل‌های کدنویس در طراحی سامانه‌های کامل و تخصصیِ سرویس‌دهی مدل‌های زبانی بزرگ (LLM). ایده این است که عامل‌ها با آزمایش نرم‌افزار بسازند و بهینه کنند؛ همان سامانه‌هایی که می‌توانند پشتوانهٔ اجرای خودشان باشند.

معیار اصلی ServerBench ارزش توکن‌هایی است که محدودیت تأخیر را برآورده می‌کنند، به‌ازای هر دلار هزینهٔ GPU. این ارزیابی وابستگی میان بخش‌های هر نشست را با بازپخش حالت‌مند حفظ می‌کند و سامانه‌های ارائه‌شده را به‌طور مستقل از نظر صحت بررسی می‌کند.

در آزمایش ۱۱ مدل عامل کدنویس و سه استقرار، Claude Sonnet 5.5 روی Gemma E4B به امتیاز ۲٫۹۷ دلار ارزش توکن به‌ازای هر دلار هزینهٔ GPU دست یافت؛ این رقم ۴٫۸۷ برابر نتیجهٔ مرجع vLLM بود. از مجموع ۳۳ اجرا، ۲۲ اجرا سامانه‌هایی تأییدشده تولید کردند و ۱۳ اجرا از قوی‌ترین خط مبنا فراتر رفتند.

تحلیل پژوهش سه نکته را برجسته می‌کند: طراحی‌های پربازده ظرفیت را با انتخاب بار کاری هماهنگ می‌کنند؛ عامل‌ها بازخورد عملکرد را از راه آزمایش‌هایی مرتبط با بار کاری تفسیر می‌کنند؛ و برای اطمینان از تحویل قابل‌اعتماد، باید مسیرهای اجرایی تازه‌ای را که بهینه‌سازی وارد سامانه کرده است نیز بررسی کرد. این کار پیش‌چاپ است و نویسندگان ServerBench را ابزاری برای مطالعهٔ نظام‌مند چگونگی تبدیل هدف‌های سرویس و بازخورد به سامانه‌های کارآمد و تأییدشده معرفی می‌کنند.