هوش مصنوعی
UniCompress مدل چندمهارتی Qwen3-VL-4B را با کاهش حدود ۷۶درصدی حجم وزن‌ها فشرده می‌کند
پیش‌چاپی در arXiv روشی برای تبدیل چند مهارت مبتنی بر آداپتر به یک مدل INT2 بدون آداپتر معرفی می‌کند؛ مدل حاصل در چهار وظیفهٔ ارزیابی‌شده، تقریباً به عملکرد نسخهٔ BF16 می‌رسد.
پژوهشگران در پیش‌چاپ UniCompress چارچوبی برای استقرار مدل‌های بینایی‌ـ‌زبانی (VLM) روی سامانه‌های لبه‌ای و ربات‌های هوشمند معرفی کرده‌اند. هدف، جایگزین‌کردن مجموعه‌ای از آداپترهای جداگانه برای مهارت‌های مختلف با یک مدل فشرده و بدون آداپتر است؛ رویکردی که می‌تواند هزینهٔ حافظه و مدیریت مدل‌ها را کاهش دهد.
این روش از یک مدل معلم Qwen3-VL-4B با دقت BF16 آغاز می‌کند و با مقداردهی اولیهٔ GPTQ و بازیابی کمّی‌سازی هدایت‌شده با معلم، مدل دانش‌آموزی نامتقارن با دقت INT2 می‌سازد. در این فرایند، وزن‌های لایه‌های پروجکشن در رمزگذار بینایی و بدنهٔ زبانی به‌طور مشترک کمّی‌سازی و بازیابی می‌شوند.
ارزیابی روی چهار وظیفه انجام شده است: تشخیص وضعیت بدن، درک ایمنی خانه، مسیریابی گفت‌وگوی چندوجهی و پیش‌بینی کنش در رابط گرافیکی موبایل. طبق گزارش پژوهشگران، حجم تقریبی ذخیره‌سازی وزن‌ها از ۸٫۹ گیگابایت در BF16 به ۲٫۱ گیگابایت در INT2 می‌رسد؛ کاهشی حدود ۷۶درصدی. امتیاز کل وظایف در مقایسه با GPTQ-INT2 نیز ۳۴٫۳ واحد درصد بهتر است و تنها ۰٫۹ واحد با مدل معلم BF16 فاصله دارد.
این نتایج در پیش‌چاپ arXiv گزارش شده‌اند و به چهار وظیفهٔ یادشده محدودند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده