روش تازه‌ای برای تشخیص زمان مناسبِ استدلال در مدل‌های بینایی‌ـ‌زبانی

پژوهشگران در پیش‌چاپی با عنوان «Attention Maps Know When to Think» می‌گویند استفادهٔ بی‌تمایز از زنجیرهٔ فکر (CoT) در مدل‌های بزرگ چندوجهی می‌تواند عملکرد را کاهش دهد؛ آن‌ها این مسئله را «بیش‌اندیشی» می‌نامند. در وظایف بخش‌بندیِ استدلالی، بیش‌اندیشی ممکن است میان منظور پرسش و آنچه مدل در تصویر مشخص می‌کند ناهماهنگی ایجاد کند.

برای رفع این مشکل، پژوهشگران چارچوب Difficulty-Aware Chain-of-Thought (DA-CoT) را پیشنهاد کرده‌اند؛ روشی بدون نیاز به آموزش که CoT را بر اساس دشواری ذاتی ورودی، به‌صورت انتخابی فعال می‌کند. طبق چکیدهٔ منتشرشده، آنتروپی نقشه‌های توجه مدل می‌تواند دشواری وظیفه را به‌طور قابل‌اتکا بازتاب دهد. متن منبع در دسترس، جزئیاتی دربارهٔ ارزیابی یا میزان بهبود عملکرد ارائه نمی‌کند.