پیش‌چاپی دربارهٔ آموزش LLM روی AMD: انتقال دادهٔ هدفمند، سرعت برخی بخش‌ها را افزایش داد

پژوهشگران در پیش‌چاپی در arXiv، سامانه‌ای برای آموزش مدل‌های زبانی بزرگ روی GPUهای AMD معرفی کرده‌اند که هدفش کاهش زمان بیکاری پردازنده بر اثر نرسیدن داده است. این سامانه با هماهنگ‌کردن انتقال داده از حافظهٔ پرسرعت به حافظهٔ روی تراشه، تغییر چیدمان داده هنگام بارگذاری و جابه‌جایی داده میان GPUها، می‌کوشد داده را پیوسته به واحدهای محاسباتی برساند.

در پیاده‌سازی از سه قابلیت استفاده شده است: Tensor Data Mover (TDM) برای انتقال داده از HBM به حافظهٔ روی تراشه، دستورهای transpose-load برای تغییر چیدمان داده هنگام بارگذاری، و SDMA و RDMA برای انتقال داده میان GPUها در شبکه‌های scale-up و scale-out.

به‌گزارش نویسندگان، TDM در سطح کرنل به‌طور میانگین به بهبود سرعت ۱٫۸۸ برابری و transpose-load به بهبود ۱٫۱۹ برابری انجامید. در محاسباتی که با ارتباط میان GPUها هم‌پوشانی داشتند، میانگین بهبود سرعت با SDMA برابر ۱٫۱۶ برابر و با RDMA برابر ۱٫۳۳ برابر بود. نویسندگان می‌گویند این نخستین سامانهٔ آموزش LLM برای AMD است که از همهٔ قابلیت‌های خط لولهٔ انتقال دادهٔ GPU استفاده می‌کند و پیاده‌سازی آن در یک چارچوب و کتابخانهٔ متن‌باز برای GPUهای AMD ادغام شده است. این مقاله نسخهٔ پیش‌چاپ است.