هوش مصنوعی
پاداش‌های ذاتیِ به‌دست‌آمده با جست‌وجو به وظیفه‌ای نادیده منتقل شدند؛ اما آزمون دست‌کاری هم در کار بود
پیش‌چاپی در arXiv روشی را برای جست‌وجوی پاداش‌های درونی در یادگیری تقویتی بررسی می‌کند. چکیده می‌گوید پاداش منتخب CMA-ES در وظیفهٔ آزمایشیِ کنارگذاشته‌شده از چند روش مقایسه‌ای بهتر عمل کرده است؛ اما جزئیات نتیجهٔ آزمون دست‌کاری در متن منبعِ موجود نیامده است.
پژوهشگران در پیش‌چاپی با عنوان «Found by Search, Broken by a Shortcut» می‌پرسند آیا می‌توان با جست‌وجوی انگیزه‌های ذاتی، پاداشی پیدا کرد که به عامل یادگیری تقویتی کمک کند بیاموزد، به وظیفه‌ای نادیده منتقل شود و در برابر سوءاستفاده‌ای که هنگام جست‌وجو وجود نداشته مقاومت کند.
هر پاداش پیشنهادی از چهار رویداد عمومی تشکیل شده است: دیدن نمایی تازه، برداشتن یک شیء، رهاکردن آن و تغییر وضعیت یک کلید. به هر رویداد وزن، نرخ تسکین و نرخ بازیابی اختصاص داده می‌شود. پژوهشگران سه مرحلهٔ ازپیش‌ثبت‌شده اجرا کردند و می‌گویند پروتکل جست‌وجو را پیش از مشاهدهٔ هر نتیجه، در یک ثبت عمومیِ زمان‌دار تثبیت کرده بودند.
در جست‌وجو از CMA-ES و جست‌وجوی تصادفی با بودجهٔ برابر استفاده شد؛ این فرایند شامل ۱٬۵۶۰ اجرای آموزش PPO بود. ارزیابی نهایی و آزمون دست‌کاری نیز ۳۴۰ اجرا داشت. در وظیفهٔ کنارگذاشته‌شدهٔ KeyCorridorS3R2، پاداش انتخاب‌شده با CMA-ES که E نام‌گذاری شده، در هر سه مقایسهٔ گزارش‌شده از PPO آموزش‌دیده فقط روی همان وظیفه، تازگی اپیزودیک و پاداش انتخاب‌شده با جست‌وجوی تصادفی (R) بهتر بود. چکیدهٔ در دسترس نتیجهٔ آزمون دست‌کاری را شرح نمی‌دهد؛ بنابراین نمی‌توان از آن دربارهٔ مقاومت پاداش در برابر سوءاستفاده نتیجه‌گیری کرد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده