هوش مصنوعی
پژوهشگران می‌گویند زنجیرهٔ استدلال تصویری مدل‌های چندوجهی همیشه به تصویر وفادار نیست
پیش‌چاپی در arXiv گزارش می‌کند مدل‌های بزرگ بینایی‌ـ‌زبان گاهی اطلاعات بصری نادرستی در روند استدلالشان می‌آورند، بی‌آنکه دقت پاسخ نهایی تغییر محسوسی کند.
پژوهشگران در پیش‌چاپی با عنوان «دربارهٔ وفاداریِ تفکر بصری: سنجش و بهبود» می‌گویند زنجیره‌های استدلال چندوجهیِ بینایی‌ـ‌متن (MCoT) در مدل‌های بزرگ بینایی‌ـ‌زبان (LVLM) ممکن است حاوی اطلاعات بصری نادرست باشند، حتی وقتی پاسخ نهایی درست است. به‌گفتهٔ آنان، خراب‌کردن اطلاعات بصری این زنجیره‌ها نیز دقت پاسخ را تقریباً تغییر نمی‌دهد؛ نشانه‌ای از اینکه بخش بصری استدلال لزوماً بازتاب قابل‌اتکایی از تصویر نیست.
نویسندگان این مسئله را به طراحی پاداش در ریزتنظیم تقویتی (RFT) نسبت می‌دهند: پاداش، به‌گفتهٔ آن‌ها، فقط قالب سرنخ‌های درهم‌تنیدهٔ تصویر و متن را تشویق می‌کند و درستی اطلاعات بصری را نمی‌سنجد. چکیدهٔ در دسترس می‌گوید مقاله وفاداری MCoT را بررسی می‌کند، اما جزئیات روش سنجش و راهکارهای بهبود در متن منبع ارائه‌شده نیست.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده