AutoCompress فشرده‌سازی مدل‌های زبانی را با توجه به محدودیت سخت‌افزار بهینه می‌کند

پژوهشگران در پیش‌چاپی در arXiv چارچوبی به نام AutoCompress معرفی کرده‌اند که هرس مدل‌های زبانی بزرگ را با توجه به سخت‌افزار، نوع بار کاری و موتور سرویس‌دهی بهینه می‌کند. این روش محدودیت‌های تأخیر، توان عملیاتی و حافظه را مستقیماً وارد جست‌وجوی تفاضل‌پذیر معماری می‌کند و ساختار کلی مدل و هر لایه را هم‌زمان بهینه می‌سازد تا معماری‌هایی با اندازه‌های متفاوت در لایه‌ها به دست آید.

نویسندگان می‌گویند شمار پارامترها به‌تنهایی پیش‌بینی‌کنندهٔ دقیقی برای این شاخص‌ها نیست؛ نتیجه به معماری، بار کاری، سخت‌افزار و موتور سرویس‌دهی وابسته است. مدل‌های هزینهٔ موتور سرویس‌دهی در AutoCompress نیز با اندازه‌گیری‌های سرتاسری تأخیر، توان عملیاتی و مصرف حافظه اعتبارسنجی شده‌اند.

این چارچوب در سه سناریو ارزیابی شده است: کدنویسی محلی با زمینهٔ طولانی، سرویس‌دهی دسته‌ای در مرکز داده و تعامل حساس به تأخیر در بازی. در مقایسه با چارچوب هرس Minitron، میانگین دقت AutoCompress در هشت بنچمارک روی RTX 5070، RTX 5080 و H100 به‌ترتیب ۶٫۵۷، ۲٫۳۵ و ۰٫۵۷ واحد درصد بیشتر بوده است.

همچنین پژوهشگران Nemotron 3.5 Super را از ۱۲۰ میلیارد به ۷۴ میلیارد پارامتر فشرده کرده‌اند تا روی یک B200 با قالب BF16 و زمینهٔ ۱۲۸هزار توکنی سرویس‌دهی شود؛ این نسخه ۹۵ درصد از میانگین امتیاز بنچمارک مدل را حفظ کرده است. این نتایج در نسخهٔ پیش‌چاپ گزارش شده‌اند.