هوش مصنوعی
پژوهشگران برای کاهش خطای دیداری در استدلال مدل‌های چندوجهی، روش GRIT را معرفی کردند
پیش‌چاپی در arXiv پدیده‌ای را بررسی می‌کند که در آن مدل با وجود برداشت نادرست از تصویر در مراحل میانی، به پاسخ نهایی درست می‌رسد؛ وضعیتی که پاداش‌دهی بر پایهٔ پاسخ نهایی به‌تنهایی تشخیص نمی‌دهد.
پیش‌چاپی در arXiv با عنوان «GRIT: Gradient Masking for Visually Misgrounded Tokens in Text-Rich Reasoning» به محدودیت یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی (RLVR) در وظایف استدلال متنیِ مبتنی بر تصویر می‌پردازد. نویسندگان پدیدهٔ «استدلال درست اما بی‌اتکای دیداری» (CVMR) را چنین توصیف می‌کنند: مدل در گام‌های میانی اطلاعات بصری را نادرست درک می‌کند، اما در نهایت به پاسخ درست می‌رسد.
به‌گفتهٔ پژوهشگران، چون RLVR معمولاً فقط درستی پاسخ نهایی را پاداش می‌دهد، میان استدلال متکی بر تصویر و استدلالی که بر برداشت نادرست دیداری بنا شده تمایزی نمی‌گذارد و هر دو را به یک شکل تقویت می‌کند. تحلیل توکن‌به‌توکن آن‌ها نیز نشان می‌دهد توکن‌های مرتبط با CVMR الگوهای توجه متفاوتی از توکن‌های متکی بر اطلاعات دیداری دارند. چکیدهٔ در دسترس جزئیات بیشتری از روش GRIT یا نتایج ارزیابی آن ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده