چارچوبی تازه برای تحلیل یادگیری تقویتی عصبی در محیط‌های با مشاهدهٔ ناقص

پژوهشگران در پیش‌چاپی تازه، تحلیل نظری یادگیری تقویتی در فرایندهای تصمیم‌گیری مارکوف با مشاهدهٔ ناقص (POMDP) را با تقریب‌گرهای عصبی بررسی کرده‌اند. این محیط‌ها دشوارند، چون تصمیم‌گیری به تاریخچهٔ طولانی وابسته است؛ اما در برخی POMDPها که فرض «پایداری فیلتر» را برآورده می‌کنند، می‌توان تاریخچه را به پنجره‌ای با طول محدود برید و مسئله را با یک ابرحالتِ MDP تقریب زد. طبق پژوهش‌های پیشین، خطای ارزشی این تقریب با افزایش طول پنجره کاهش می‌یابد.

نویسندگان می‌گویند تحلیل‌های پیشین یا به تقریب خطیِ ساده‌شده محدود بوده‌اند، یا به نمونه‌گیری مستقل و هم‌توزیع (i.i.d.) تکیه داشته‌اند؛ فرضی که مسیرهای واقعی POMDP آن را برآورده نمی‌کنند. این مطالعه ابتدا کرانی برای خطای تقریب نقطه‌ای در MDPهای با حالت محدود به دست می‌دهد. سپس با به‌کارگیری یادگیری اختلاف زمانی (TD) روی گذارهای ابرحالت تولیدشده از POMDP، کران خطای منتقد را در زمان محدود و با تقریب تابع ارزش عصبی اثبات می‌کند.

در گام بعد، پژوهشگران این کران را با چارچوب «نزول آینه‌ای سیاست» ترکیب می‌کنند تا پشیمانیِ زیرخطی در زمان محدود، در مقایسه با ارزش بهینهٔ POMDP، به دست آورند. به گفتهٔ نویسندگان، این نخستین نتیجه از این نوع برای POMDPهای با حافظهٔ محدود و تقریب تابع عصبی است. آزمایش‌های عددی مقاله نیز، بنا بر چکیده، نتایج نظری را تأیید می‌کنند. این مقالهٔ ۳۳صفحه‌ای در arXiv منتشر شده و پیش‌چاپ است.