روش DictLLM مدل LLaMA-7B را ۵٫۱ برابر فشرده می‌کند

پژوهشگران در مقاله‌ای پیش‌چاپی در arXiv، روش DictLLM را برای فشرده‌سازی مدل‌های زبانی بزرگ معرفی کرده‌اند؛ روشی که به‌گفتهٔ آن‌ها می‌تواند مدل LLaMA-7B را ۵٫۱ برابر کوچک‌تر کند و در آزمون WikiText-2، پریشانی مدل را ۲٫۹ واحد افزایش دهد. نویسندگان همچنین گزارش می‌کنند که نسبت فشرده‌سازی این روش ۳٫۶ برابر بیشتر از بهترین روش کم‌رتبهٔ مورد مقایسه بوده است.

DictLLM پس از آموزش مدل اجرا می‌شود و به آموزش دوباره نیاز ندارد. این روش وزن‌های لایه‌های گروه‌بندی‌شده را به یک دیکشنری مشترک و ضرایب تنکِ مخصوص هر لایه تجزیه می‌کند. فرایند پیشنهادی با تجزیهٔ مقدار منفردِ ماتریس‌های وزنِ مقیاس‌شده آغاز می‌شود؛ سپس ضرایب با کمک اطلاعات Hessian تنک می‌شوند، دیکشنری‌ها اصلاح می‌شوند و در پایان هر دو بخش با روش‌های کمّی‌سازی جداگانه فشرده می‌شوند.

طبق چکیدهٔ مقاله، DictLLM در آزمون‌های مدل‌سازی زبان و استدلالِ بدون نمونه نیز از روش‌های پس‌آموزشی کم‌رتبهٔ موجود بهتر عمل کرده است. این مقاله پیش‌چاپ است و در صفحهٔ arXiv آمده که برای NeurIPS 2026 پذیرفته شده است.