پژوهش
بررسی ۷۲ ترکیب فشرده‌سازی نشان می‌دهد INT8 کم‌افت و ترکیب NF4 با هرس L1 پرریسک است
یک پیش‌چاپ در arXiv تعامل روش‌های فشرده‌سازی را در چهار مدل زبانی کوچک بررسی کرده است؛ طبق چکیده، INT8 افت دقتی کمتر از ۰٫۵ درصد داشت، اما هر ۱۶ ترکیب آزموده‌شدهٔ NF4 و هرس مبتنی بر بزرگی L1 به فروپاشی مدل انجامید.
پژوهشگران در این مطالعه، ۷۲ پیکربندی فشرده‌سازی را روی چهار معماری مدل زبانی کوچک با ۲٫۷ تا ۷ میلیارد پارامتر ارزیابی کردند. آن‌ها همچنین ۴۸ پیکربندی دیگر را برای بررسی ترتیب اجرای روش‌ها آزمودند و دقت ۳۰ مدل فشرده‌شده را با معیارهای بنچمارک سنجیدند. اعتبارسنجی با چند بذر تصادفی و ارزیابی perplexity روی کل پیکره نیز در بررسی‌ها گنجانده شده است.
بر اساس چکیده، کوانتیزه‌سازی INT8 عملاً بدون افت محسوس بود و کاهش دقت آن کمتر از ۰٫۵ درصد گزارش شد. در مقابل، ترکیب کوانتیزه‌سازی NF4 با هرس مبتنی بر بزرگی L1 در هر ۱۶ ترکیب آزمایش‌شده به فروپاشی مدل منجر شد. چکیدهٔ در دسترس همچنین به تنظیم دقیق مبتنی بر LoRA اشاره می‌کند، اما جملهٔ مربوط به این روش ناتمام است و نتیجهٔ آن را مشخص نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده