روش Hybrid Spark انتخاب پیشنهاددهندهٔ مناسب برای رمزگشایی مدل‌های زبانی را به خود محتوا می‌سپارد

پیش‌چاپی در arXiv از چارچوبی به نام Hybrid Spark برای افزایش سرعت سرویس‌دهی مدل‌های زبانی بزرگ رونمایی می‌کند. این روش در هر گام هم یک پیشنهاددهندهٔ مبتنی بر مدل و هم یک پیشنهاددهندهٔ بدون مدل را اجرا می‌کند و برای هر درخواست، زنجیره‌ای را برمی‌گزیند که احتمال پذیرش بهتری دارد. پیشنهاددهندهٔ بدون مدل، مانند جست‌وجوی n-gram، می‌تواند در کارهایی که خروجی ورودی را تکرار می‌کند، از جمله ویرایش کد، رشته‌های بلند را با هزینهٔ اندک پیشنهاد دهد.

در رمزگشایی گمانه‌زنانه، مدلِ پیشنهاددهنده توکن‌های بعدی را حدس می‌زند و مدل اصلی آن‌ها را بررسی می‌کند. روش‌های تخصیص تطبیقی بودجهٔ بررسی را میان توکن‌هایی می‌گذارند که احتمال پذیرش بیشتری دارند، اما به گفتهٔ پژوهشگران، روش‌های پیشینِ این نوع فقط از یک پیشنهاددهندهٔ مبتنی بر مدل پشتیبانی می‌کنند. از سوی دیگر، پیشنهاددهنده‌های بدون مدل معمولاً برای هر توکن برآورد اطمینان ندارند و نمی‌توانند مستقیماً در تخصیص بودجه سهیم شوند.

Hybrid Spark برای مقایسهٔ دو زنجیره، هزینه‌ای به هر توکنِ نیازمند بررسی نسبت می‌دهد؛ این هزینه بازدهی‌ای را نشان می‌دهد که همان سهم از بودجه در جای دیگری از دستهٔ درخواست‌ها می‌توانست ایجاد کند. پژوهشگران می‌گویند با کالیبره‌کردن برآورد پذیرش توکن‌های پیشنهاددهندهٔ بدون مدل، هر دو زنجیره را می‌توان در یک مقیاس سنجید. این چارچوب در پیاده‌سازی روی vLLM و با استفاده از \dspark و پیشنهاددهندهٔ n-gram، بررسی را به‌طور کامل روی GPU انجام می‌دهد تا زمان‌بندی ناهمگام حفظ شود.

در آزمایش‌های گزارش‌شده، توان عملیاتی تولید خروجی برای ویرایش کد، در مقایسه با \dspark، در اندازهٔ دستهٔ ۴ بین ۱٫۱۰ تا ۱٫۶۲ برابر و در اندازهٔ دستهٔ ۱۲۸ بین ۱٫۰۴ تا ۱٫۲۷ برابر بود. برای گفت‌وگو با دمای صفر، عملکرد در بازهٔ ۰٫۹۷ تا ۱٫۰۱ برابر \dspark باقی ماند. نویسندگان می‌گویند این نتایج امکان سرویس‌دهی هر دو نوع کار را با یک استقرار فراهم می‌کند؛ مقاله در حال حاضر پیش‌چاپ است.