هوش مصنوعی
Geo-FSRL برای آموزش مدل‌های جریان با گام‌های کم، سیاست تصادفی را بهینه می‌کند
این روش از میان سیاست‌های سازگار با ضرایب جریان، گزینه‌ای را انتخاب می‌کند که واگرایی KL شرطی را کمینه می‌کند؛ چکیدهٔ پیش‌چاپ جزئیات بیشتری دربارهٔ نتایج ارائه نمی‌دهد.
مدل‌های جریان با گام‌های کم، نمونه‌ها را با چند انتقال بزرگِ حذف نویز تولید می‌کنند. به‌کارگیری GRPO برای آموزش این مدل‌ها مستلزم افزودن تصادفی‌بودن به انتقال‌هاست؛ اما وقتی هر انتقال بازهٔ گسترده‌ای از سطوح نویز را پوشش می‌دهد، انتخاب سیاست تصادفی می‌تواند بر روند بهینه‌سازی اثر مهمی بگذارد.
پژوهشگران در پیش‌چاپی با عنوان Geo-FSRL، مخفف Geometry-Optimized Few-Step Reinforcement Learning، روشی برای انتخاب این سیاست معرفی کرده‌اند. روش‌های پیشین ضرایب جریان هدف را حفظ می‌کردند، اما این شرط به‌تنهایی خانواده‌ای از سیاست‌های ممکن را باقی می‌گذاشت و معیاری برای انتخاب میان آن‌ها نداشت. اصل انتخاب Geo-FSRL این است که در یک حالت شرطی و جفت زمانیِ ثابت، سیاست مجاز را برگزیند که واگرایی KL شرطی را کمینه می‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده