روش تازه، ضعف مدل‌های بینایی‌ـ‌زبان در تشخیص چپ و راست را هدف می‌گیرد

مدل‌های بینایی‌ـ‌زبانِ کنتراستیو در تشخیص این‌که یک شیء در سمت چپ یا راست شیء دیگر قرار دارد، اغلب نزدیک به حد شانس عمل می‌کنند. پژوهشی تازه در arXiv می‌گوید این ضعف دست‌کم دو علت دارد: گاهی اطلاعات رابطهٔ مکانی در بردار نهایی تصویر باقی می‌ماند، اما امتیازدهی معمول تصویرـ‌متن به آن دسترسی ندارد؛ گاهی هم فرایند تجمیع، جهت رابطه را از بین می‌برد، هرچند ویژگی‌های جزئی‌تر تصویر آن را حفظ کرده‌اند.

در آزمایش عکس‌های تمیزِ شامل دو شیء و با بررسی ۱۰ رمزگذار، پژوهشگران توانستند قطبیت چپ‌و‌راست را از مؤلفهٔ حاصل از وارونه‌کردن تصویر در بردار تجمیع‌شده با دقت خطی ۰٫۷۷ تا ۰٫۹۹ رمزگشایی کنند. بااین‌حال، جست‌وجو میان یک میلیون کپشن نشان داد ۹ مدل از ۱۰ مدل با امتیازدهی بومی همچنان نزدیک به حد شانس هستند؛ نشانه‌ای از مشکل دسترسی به اطلاعات، نه لزوماً نبود آن.

در آزمایش دیگری با آرایش‌های کنترل‌شدهٔ C4، که تنها متغیرشان رابطهٔ مکانی بود، بردار تجمیع‌شده محور کلی چیدمان را با امتیاز ۰٫۹۹۸ تا ۱٫۰۰۰ حفظ کرد، اما جهت رابطه را از دست داد؛ ویژگی‌های شبکهٔ وصله‌ای تصویر همچنان این جهت را در خود داشتند. نویسندگان این وضعیت را «شکست تجمیع» می‌نامند.

راهکار پیشنهادی، یک محاسبهٔ هندسیِ وابسته به پرس‌وجو و بدون پارامترهای قابل‌آموزش است که هندسه را از شبکهٔ وصله‌ای تصویر بازسازی می‌کند و آن را در قالب برداری کنار تعبیهٔ بومی نگه می‌دارد. در نمایه‌ای شامل ۱۱۸٬۲۸۷ تصویر، این روش دقت جفتیِ چپ‌و‌راست را در برابر نمونه‌های منفی با هندسهٔ معکوس از ۰٫۵۱ تا ۰٫۵۳ به ۰٫۸۱ تا ۰٫۹۶ رساند. همچنین در میان ۲۱ نامزد هم‌دسته، معیار conditional R@1 از ۰٫۰۵ به ۰٫۳۷ تا ۰٫۷۵ افزایش یافت. اجرای آن برای هر پرس‌وجوی دسته‌ای کمتر از یک میلی‌ثانیه طول کشید و، بنا بر گزارش مقاله، برای پرس‌وجوهایی که رابطهٔ مکانی را نام نمی‌برند، رتبه‌بندی بومی را دقیقاً بازتولید کرد. این مقاله پیش‌چاپ است و در اطلاعات arXiv به WACV 2027 ارجاع داده شده است.