هوش مصنوعی
روش ORSD به مدل‌های زبانی کمک می‌کند از مسیرهای ناموفق هم یاد بگیرند
پژوهشگران روشی برای افزودن بازخورد در سطح توکن به یادگیری تقویتی پیشنهاد کرده‌اند که از تفاوت میان مسیرهای موفق و ناموفق، معیارهای فرایندی می‌سازد.
پاداشی که فقط موفقیت یا شکست نهایی یک مسیر را می‌سنجد، مشخص نمی‌کند کدام تصمیم‌های میانی مدل باید تقویت یا تضعیف شوند. پژوهشگران در پیش‌چاپی در arXiv روش «تقطیر خودنظارتی برخط معیارها» (ORSD) را معرفی کرده‌اند تا این کمبود را با نظارت دقیق‌تر بر فرایند برطرف کنند.
در ORSD، مدل برای مجموعه‌ای از مسیرهای تولیدشده، چند بسته معیار متنی می‌سازد که تفاوت‌های رفتاری میان مسیرها را بازتاب می‌دهند. سپس یک ارزیابِ ثابت، هر معیار را در برابر مسیرها می‌سنجد و بسته‌ای را برمی‌گزیند که انطباق معیارها با موفقیت در انجام وظیفه بیشتر باشد. مدل در مرحلهٔ آموزش از این بسته به‌عنوان اطلاعات کمکی استفاده می‌کند: تفاوت احتمال توکن‌های اصلی با و بدون معیار، اعتباری در سطح توکن برای تصمیم‌های مسیر فراهم می‌آورد. این اعتبار به امتیاز مسیر در روش GRPO افزوده می‌شود.
آزمایش‌های گزارش‌شده در محیط‌های ALFWorld و WebShop نشان می‌دهند ORSD با بودجهٔ یکسان برای تعامل با محیط، بهبود سیاست را سرعت داده و عملکرد نهایی را برای مدل‌های Qwen3-1.7B و Qwen3-4B افزایش داده است. این مقاله پیش‌چاپ است و جزئیات آن در نسخهٔ arXiv ارائه شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده