ARK برای کاهش برخورد مسیرها در انتقال KV cache مدل‌های زبانی پیشنهاد شد

در استنتاجِ جداشدهٔ مدل‌های زبانی بزرگ، مرحله‌های prefill و decode روی مجموعه‌های جداگانه‌ای از GPU اجرا می‌شوند و جابه‌جایی KV cache میان آن‌ها جریان‌های دادهٔ بزرگی ایجاد می‌کند. به‌گفتهٔ پژوهشگران، این انتقال‌ها از صدها میلی‌ثانیه تا چند ثانیه طول می‌کشند و پهنای باند شبکه را به‌شدت مصرف می‌کنند.

پیش‌چاپی در arXiv با معرفی سازوکاری به نام ARK به مشکل مسیریابی این جریان‌ها می‌پردازد. نویسندگان می‌گویند ECMP بدون‌حالت ممکن است به‌دلیل برخورد هش، بار را روی یک لینک متمرکز کند و لینک‌های دیگر را کم‌استفاده بگذارد؛ در نتیجه، انتقال‌ها چند ثانیه بیشتر طول می‌کشند. ARK فرستنده‌ها را هماهنگ می‌کند تا پورت‌های مبدأ را طوری انتخاب کنند که جریان‌های هم‌زمان به مسیرهای مناسب نگاشت شوند. نویسندگان استدلال می‌کنند چون این جریان‌ها عمر طولانی دارند، هزینهٔ هماهنگی سبک میان فرستنده‌ها را می‌توان در طول انتقال مستهلک کرد. متن منبع در دسترس، توضیح بیشتری دربارهٔ نتایج ارزیابی این روش ارائه نمی‌کند.