هوش مصنوعی
PEARL: روشی برای فراموش‌کردن انتخابی هنگام تغییر ترجیحات کاربران
پیش‌چاپی در arXiv روشی برای به‌روزرسانی مدل‌ها معرفی می‌کند که فقط در بُعدهایی از ترجیحات که پیش‌بینی‌ها در آن‌ها خطا کرده‌اند، اعتماد مدل را کاهش می‌دهد.
ترجیحات کاربران با تغییر نیازها، موقعیت‌ها و سلیقه‌ها عوض می‌شود و این تغییر می‌تواند توصیه‌گرهای شخصی‌سازی‌شده، پاسخ‌گویی مدل‌های زبانی بزرگ و مدل‌های پاداش آموزش‌دیده با RLHF را از تنظیم خارج کند. به‌گفتهٔ نویسندگان پیش‌چاپ PEARL، روش‌های موجود برای یادگیری با بازخوردهای متغیر معمولاً همهٔ ابعاد را یکسان فراموش می‌کنند؛ حال آن‌که ممکن است فقط بخشی از ترجیحات منسوخ شده باشد.
این پژوهش PEARL را پیشنهاد می‌کند؛ روشی که به‌جای کاهش یکنواخت اعتماد، به جهت‌هایی در فضای ویژگی‌ها واکنش نشان می‌دهد که مدل در آن‌ها پیش‌بینی‌های به‌طرز غیرمنتظره‌ای نادرستی داشته است. روش‌های contextual bandit عصبی با به‌روزرسانی ماتریس Gram اعتماد را به‌مرور افزایش می‌دهند، اما سازوکار مشخصی برای هدایت عدم‌قطعیت به سمت خطاهای پیش‌بینی ندارند. PEARL به‌روزرسانی ماتریس را در جهت ویژگی‌های مرتبط با این خطاها معکوس می‌کند و اعتماد در جهت‌های دیگر را حفظ می‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده