هوش مصنوعی

RLiD می‌خواهد یادگیری تقویتی عامل‌های زبانی را مستقیماً روی گزینه‌های اجرایی متمرکز کند

پیش‌چاپی در arXiv چارچوبی معرفی می‌کند که به‌جای ارزیابی کل پاسخ متنی مدل، احتمال انتخاب اقدام‌های قابل اجرا را بهینه می‌کند.

۱ دقیقه مطالعه
Figure 1: (a) token-level RL credits every generated token, can produce unparseable outputs and pays for generation. (b) RLiD: a large decision model reads the compiled state and labelled menu in one pass. The advantage
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپ RLiD (Reinforcement Learning in the Decision Plane) می‌گویند یادگیری تقویتی در سطح توکن ممکن است مزیت یک اقدام را به تمام پاسخ تولیدشده نسبت دهد؛ از جمله به توکن‌های مربوط به صورت‌بندی اقدام، زنجیرهٔ استدلال و محتوای نامعتبر. در حالی که محیط فقط اقدامِ استخراج‌شده از پاسخ را اجرا می‌کند، تفاوت در نحوهٔ بیان زبانی آن می‌تواند برآوردهای گرادیان سیاست را پرنوسان‌تر کند.

RLiD برای رفع این مسئله، احتمال گزینه‌های اجرایی اقدام را مستقیماً بهینه می‌کند. این چارچوب مشاهدات، حافظه‌ای فشرده و اختیاری و فهرستی برچسب‌خورده از اقدام‌ها را در ورودی مدل قرار می‌دهد. متن در دسترس از چکیده در این منبع در میانهٔ توضیح روش قطع شده است؛ بنابراین جزئیات بیشتری از سازوکار یا نتایج آن ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست