هوش مصنوعی
روشی برای آموزش موازیِ سریع‌تر در یادگیری تقویتی ایمن
پژوهشگران برآوردی برای بازسازی هزینهٔ ایمنیِ کل هر اپیزود از قطعه‌مسیرهای کوتاه ارائه کرده‌اند؛ آزمایش‌ها می‌گویند روش پیشنهادی زمان آموزش را کاهش می‌دهد و عملکردی هم‌تراز با پیاده‌سازی‌های کم‌موازی دارد.
پیش‌چاپی در arXiv به بررسی مقیاس‌دادن یادگیری تقویتی ایمن (Safe RL) در آموزش‌های به‌شدت موازی می‌پردازد؛ رویکردی که در آن تعداد زیادی محیط با افق‌های کوتاه اجرا می‌شوند. این شیوه داده‌ها را سریع‌تر گرد می‌آورد و زمان آموزش را کاهش می‌دهد، اما با یک دشواری روبه‌رو است: در فرایندهای تصمیم‌گیری مارکوفِ مقید (CMDP)، محدودیت‌های ایمنی بر پایهٔ هزینهٔ انباشتهٔ کل اپیزود تعریف می‌شوند، نه قطعه‌مسیرهای کوتاهی که در هر نوبت آموزش در دسترس‌اند.
پژوهشگران جابه‌جایی زمان‌بندی‌شدهٔ بازنشانی محیط‌ها را به‌صورت ترکیبی از قطعه‌مسیرهای کوتاه در فازهای مختلف تحلیل کرده‌اند. بر اساس این تحلیل، آن‌ها برآوردگری تجمیع‌شده برحسب فاز پیشنهاد می‌کنند تا از دسته‌های کوتاه مسیر، هزینهٔ سطح اپیزود بازسازی شود. روش همچنین عدم‌قطعیتِ ناشی از محدودبودن نمونه‌ها و تفاوت توزیع داده‌ها را در چارچوبی برای سخت‌گیرانه‌تر کردن قیود لحاظ می‌کند و با بهینه‌سازی on-policy سازگار است.
در آزمایش‌های مبتنی بر پیاده‌سازی MJX از Safety Gym، روش پیشنهادی عملکردی قابل‌مقایسه با پیاده‌سازی‌های بدون موازی‌سازی گسترده داشت و زمان آموزش را به‌طور چشمگیری کاهش داد. مقاله در صفحهٔ arXiv پذیرفته‌شدن در NeurIPS 2026 را اعلام می‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده