LEAP برای زمان‌بندی کارآمدتر درخواست‌های مدل‌های زبانی، طول پاسخ را پیش‌بینی می‌کند

پیش‌چاپی در arXiv سامانه‌ای به‌نام LEAP را معرفی می‌کند که هدفش بهبود زمان‌بندی درخواست‌ها در سرویس‌دهی مدل‌های زبانی بزرگ است. زمان‌بندی آگاه از طول پاسخ می‌تواند با اولویت‌دادن به درخواست‌های کوتاه‌تر، تأخیر را کاهش دهد؛ اما پیش‌بینی‌کننده‌های طول ممکن است با تغییر دامنه یا نوع وظیفه دقت رتبه‌بندی خود را از دست بدهند و سازگارکردن آن‌ها نیز به بازآموزی پرهزینه نیاز داشته باشد. هزینهٔ خودِ پیش‌بینی هم ممکن است بخشی از سود زمان‌بندی را خنثی کند.

LEAP از حالت‌های پنهان مرحلهٔ prefill در مدلِ در حال سرویس‌دهی استفاده می‌کند؛ حالت‌هایی که به‌گفتهٔ چکیده، اطلاعاتی دربارهٔ طول خروجی در خود دارند. سامانه این سیگنال را با یک لایهٔ خطی استخراج می‌کند و برای کاهش سربار، اجرا را به‌صورت ناهمگام روی CPU انجام می‌دهد. چکیده همچنین از سازگاری آنلاین سریع با تغییرات چشمگیر دامنه و وظیفه خبر می‌دهد، اما متن ارائه‌شده جزئیات روش سازگاری یا نتایج ارزیابی را مشخص نمی‌کند.