روشی برای تنظیم آفلاین الگوریتم‌های یادگیری تقویتی

روش‌های یادگیری تقویتی آفلاین (ORL) قرار است امکان استقرار ایمن و کم‌هزینه از نظر نمونه‌گیری را فراهم کنند؛ اما، به‌گفتهٔ نویسندگان پیش‌چاپ، روش‌های موجود برای تنظیم اَبَرتنظیم‌ها به تعامل‌های آنلاینِ مستندنشده متکی‌اند و برآورد قابل‌اعتمادی از عملکرد اولیهٔ سیاست‌ها در محیط آنلاین ارائه نمی‌دهند.

پژوهشگران SOReL را معرفی کرده‌اند: روشی بیزی و مبتنی بر مدل که از داده‌های آفلاین، توزیعی پسین برای پویایی‌های محیط می‌آموزد و با تکیه بر عدم‌قطعیت پیش‌بینی، ارزش سیاست را برآورد می‌کند. این چارچوب انتخاب کامل اَبَرتنظیم‌ها را به‌صورت آفلاین ممکن می‌کند. روش دوم، TOReL، همین چارچوب تنظیم را به الگوریتم‌های ORL مبتنی بر مدل و بدون مدل گسترش می‌دهد.

نویسندگان همچنین تحلیلی از رگرسیون ارائه می‌کنند که نشان می‌دهد، تحت شرایط منظم‌بودن استاندارد، یادگیری تقویتی بیزی آفلاین به نرخ پارامتری بهینهٔ مینی‌مکس می‌رسد. این نتیجه و روش‌ها در یک پیش‌چاپ arXiv گزارش شده‌اند.