هوش مصنوعی
Muon-RT با استفاده از فاصلهٔ مدل معلم و شاگرد، بافر مومنتوم را حذف می‌کند
پیش‌چاپی در arXiv روشی برای کاهش حافظهٔ پایدار آموزش خودتقطیری مدل‌های زبانی بزرگ معرفی می‌کند؛ روشی که تاریخچهٔ به‌روزرسانی‌ها را از جابه‌جایی میان مدل شاگرد و معلم می‌گیرد.
روش‌های خودتقطیری مدل‌های زبانی بزرگ که از معلمی با میانگین متحرک نمایی (EMA) استفاده می‌کنند، از پیش تاریخچه‌ای از به‌روزرسانی‌های شاگرد را نگه می‌دارند. بااین‌حال، الگوریتم Muon یک بافر مومنتوم جداگانه هم ذخیره می‌کند و به حافظهٔ پایدار بیشتری نیاز دارد.
پژوهشگران در پیش‌چاپی با عنوان Muon-RT پیشنهاد می‌کنند جابه‌جایی میان وزن‌های مدل معلم و شاگرد جای بافر مومنتوم را برای ماتریس‌های وزن پنهان بگیرد. آن‌ها می‌گویند این جابه‌جایی، در یک مدل محلی، تاریخچهٔ وزن‌دهی‌شدهٔ نماییِ به‌روزرسانی‌های اعمال‌شده را بازتاب می‌دهد و نویزهای نامرتبط در طول زمان را هموار می‌کند.
Muon-RT مؤلفهٔ شعاعی این جابه‌جایی را حذف و آن را به‌صورت طیفی نرمال‌سازی می‌کند؛ سپس آن را پس از متعامدسازی گرادیان با روش Newton–Schulz با گرادیان جاری ترکیب می‌کند. چکیدهٔ در دسترس می‌گوید برآوردهای روش تحت فرض‌های صریحی دربارهٔ منظم‌بودن و هم‌راستایی ارائه شده‌اند، اما متن منبع ارائه‌شده جزئیات نتایج یا ارزیابی تجربی را دربر ندارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده