ارزیابی سرعت و دقت مدل‌های زبانی کمّی‌شده هنوز پراکنده است

پژوهشگران با گردآوری داده‌های عمومیِ قابل‌راستی‌آزمایی دربارهٔ سرویس‌دهی مدل‌های زبانی open-weight با vLLM و SGLang، می‌گویند این داده‌ها سرعت اجرای مدل نسبت به BF16 و دقت ازدست‌رفته را به‌صورت کامل و هم‌زمان نشان نمی‌دهند. از میان اندازه‌گیری‌های بررسی‌شده، فقط دو checkpoint از Gemma 3 12B در قالب INT4 هم زمان اجرای vLLM و هم امتیاز دقت دارند. آن امتیاز نیز فقط یک موضوع از آزمون MMLU را پوشش می‌دهد؛ موضوعی که نسخهٔ AWQ برای آن کالیبره شده بود.

به‌گفتهٔ نویسندگان، زمان‌های اجرای موجود برای batch-1 پیش از نسخه‌های فعلی موتورهای اجرا ثبت شده‌اند؛ برای AMD و Intel Gaudi در این بازهٔ اندازهٔ مدل هیچ زمان‌سنجی‌ای وجود ندارد و FP4 نیز با BF16 مقایسه نشده است. داده‌های موجود نشان می‌دهند هنگام رمزگشایی با batch کوچک، محدودیت پهنای باند حافظه باعث می‌شود وزن‌های ۴بیتی سریع‌تر باشند. این مقاله پیش‌چاپی در arXiv است.