هوش مصنوعی
روش ETAPS هرس تدریجی مدل‌های زبانی بزرگ را در sparsity بالا پیشنهاد می‌کند
پیش‌چاپی در arXiv می‌گوید روش پیشنهادی با هرس مرحله‌ای و سازگارسازی پراکنده، می‌کوشد هزینهٔ حافظه و استنتاج را کاهش دهد و کیفیت مدل را حفظ کند.
پژوهشگران در پیش‌چاپی با عنوان «Prune Gradually, Adapt Sparsely» روش ETAPS را برای هرس وزن‌های مدل‌های زبانی بزرگ معرفی کرده‌اند. هرس می‌تواند هزینهٔ ذخیره‌سازی و استنتاج را کم کند، اما حفظ کیفیت در سطح‌های بالای sparsity همچنان دشوار است.
به‌گفتهٔ نویسندگان، هرس یک‌مرحله‌ای کم‌هزینه است، اما با افزایش sparsity افت کیفیت شدیدی دارد؛ حتی بازیابی پس از هرس هم این مشکل را برطرف نمی‌کند. در مقابل، روش‌هایی که ماسک هرس را مستقیماً بر پایهٔ مدل متراکم و با هدف بهینه‌سازی سرتاسری تنظیم می‌کنند، کیفیت بالاتری دارند، اما روش پیشروِ یادشده در پیش‌چاپ به وضعیت بهینه‌ساز و متغیرهای کمکی هم‌اندازهٔ مدل نیاز دارد.
ETAPS با افزایش تدریجی محدودیت sparsity و سازگارسازی پراکنده، برای پر کردن این فاصله طراحی شده است. متن در دسترس از چکیدهٔ پیش‌چاپ ناقص است و جزئیات بیشتر یا نتایج عددی روش را ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده