پژوهش
روشی برای یادگیری پیوستهٔ شبکه‌ها بدون بازپخش داده‌های گذشته
پیش‌چاپی در arXiv روشی را معرفی می‌کند که در آن حافظه‌ای موقت و فقط هنگام آموزش، حرکت وزن‌های شبکه را محدود می‌کند تا شبکهٔ کاملاً آموزش‌پذیر بتواند کارهای تازه را یاد بگیرد.
شبکه‌هایی که پیوسته آموزش می‌بینند ممکن است آموخته‌های قبلی را با یادگیری‌های تازه جایگزین کنند. راهکارهای رایج برای کاهش این مشکل، بازپخش داده‌های قدیمی، استفاده از مدل قبلی به‌عنوان معلم یا ثابت نگه‌داشتن بخشی از شبکه است. پژوهشگران در پیش‌چاپی در arXiv روشی پیشنهاد کرده‌اند که به این ابزارها و نیز به حافظه هنگام اجرا نیاز ندارد.
در این روش، پس از هر کار، حافظه‌ای هیپوکامپی که فقط در مرحلهٔ آموزش فعال است، هندسهٔ ورودی گروه‌هایی از سیناپس‌های مشترک را ثبت می‌کند؛ انرژی باقیمانده نیز در این ثبت لحاظ می‌شود. سپس جابه‌جایی هر سیناپس در هر جهت، هم پیش و هم پس از اجرای بهینه‌ساز، محدود می‌شود. به‌گفتهٔ چکیدهٔ مقاله، این سازوکار هندسیِ وابسته‌نبودن به نوع کلاس، بخش عمدهٔ حفاظت از آموخته‌های پیشین را فراهم می‌کند و می‌توان آن را با تشخیص تعارض ترکیب کرد.
چکیده می‌گوید روش پیشنهادی یادگیری را بدون بازپخش بین کارها، مدل معلم یا حافظه در زمان استنتاج ممکن می‌کند؛ اما متن در دسترس، نتیجهٔ کامل ارزیابی‌ها یا میزان بهبود روش را ارائه نمی‌دهد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده