هوش مصنوعی
ZeroGraph وابستگی‌های آموزشی بین لایه‌های مدل را با نظارتِ مرزهای ثابت جایگزین می‌کند
پیش‌چاپی در arXiv روشی برای آموزش بلوکی مدل‌های ازپیش‌آموزش‌دیده معرفی می‌کند؛ آزمایش GPT-2 Large نشان می‌دهد کاهش خطای یک هدف آموزشی لزوماً به عملکرد بهتر مدل نهایی نمی‌انجامد.
پژوهشگران در پیش‌چاپ ZeroGraph روشی برای تبدیل و تقطیر مدل‌های ازپیش‌آموزش‌دیده معرفی کرده‌اند. در این روش، مسیر منسجم خروجی‌های میانی یک مدل مرجعِ ثابت ذخیره می‌شود تا هر بخش مدل جداگانه و بدون وابستگی زنده به گرادیان‌های بخش‌های دیگر آموزش ببیند. پارامترها، وضعیت بهینه‌ساز، وضعیت تصادفی و نقاط بازیابی هر بخش نیز مستقل‌اند؛ نظارتِ مرزهای ذخیره‌شده جای ارتباط آنلاین میان لایه‌ها را می‌گیرد.
نتایج گزارش‌شده برای GPT-2 Large تفاوت میان کاهش خطای هدف آموزشی و کیفیت مدلِ سرهم‌شده را نشان می‌دهد: هدفی که به مسیر مرجع متکی نیست، خطای نویززدایی را ۹۹٫۴۴ درصد کاهش داد، اما آنتروپی متقاطع مدل روی داده‌های ارزیابی از ۳٫۶۳ به ۱۰٫۴۸ افزایش یافت و استفاده از بافت منفی شد. بنابراین، بهبود معیار آموزشی به‌تنهایی تضمین نمی‌کند که بخش‌های مستقل‌شده در کنار هم مدل مفیدی بسازند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده