آزمون Bio-VQA نشان می‌دهد مدل‌های بینایی‌ـ‌زبانی در فهم جزئیات زیستی ضعف دارند

بنچمارک تازهٔ Bio-VQA برای ارزیابی توانایی مدل‌های بینایی‌ـ‌زبانی در فهم تصاویر زیستی طراحی شده است؛ حوزه‌ای که آزمون‌های پیشین عمدتاً به شناسایی گونه‌ها در چند گروه محدود می‌شدند. این مجموعه ۱٫۸۶ میلیون پرسش را از ۲۱۷ هزار تصویر در ۱۱ مجموعه‌دادهٔ عمومی گرد آورده و چهار مهارت را می‌سنجد: استدلال در رده‌بندی سلسله‌مراتبی، تشخیص ویژگی‌های ظریف، استدلال مکانی و کمی، و بازشناسی دوبارهٔ افراد یک گونه. امتیازدهی آن نیز درجه‌بندی‌شده است؛ بنابراین پاسخ نزدیک به پاسخ درست، امتیازی بیشتر از پاسخ کاملاً دور می‌گیرد.

در ارزیابی ۱۸ مدل با وزن‌های باز و اندازهٔ ۳٫۷۵ تا ۳۸٫۴ میلیارد پارامتر، بهترین مدل در شمارش دقیق جانوران در تصاویری با ۲ تا ۱۰ فرد، تنها در ۴۱٫۷ درصد موارد موفق شد؛ عملکردی کمتر از نصف دقت همان مدل در شمارش اشیای روزمره با تعداد مشابه. دقت رده‌بندی نیز با رفتن از رده‌های کلی به نام علمی گونه افت چشمگیری داشت: از ۰٫۷۲ در سطح شاخه به ۰٫۱۲ در سطح نام علمی. بزرگ‌تر شدن مدل‌ها عمدتاً به بهبود تشخیص در رده‌های کلی کمک کرد.

فاصله با مدل تخصصی BioCLIP-2 هم در رده‌های دقیق‌تر بیشتر شد: در سطح رده، امتیاز بهترین مدل عمومی ۰٫۷۳۱ در برابر ۰٫۸۷۴ برای BioCLIP-2 بود؛ در سطح نام علمی، این ارقام به‌ترتیب ۰٫۲۶۹ و ۰٫۵۴۴ ثبت شد. در اندازه‌گیری اندازهٔ ویژگی‌های بدن، ۱۵ مدل از ۱۸ مدل عملکردی بهتر از خط پایه‌ای نداشتند که برای همهٔ نمونه‌ها یک عدد ثابت پیش‌بینی می‌کند. در بازشناسی دوباره نیز ۱۷ مدل در شرایط چالش‌برانگیز، پایین‌تر از حد شانس عمل کردند. پژوهشگران می‌گویند این ضعف‌ها در بازه‌ای ده‌برابری از اندازهٔ مدل‌ها پابرجا بود.

این پژوهش در نسخهٔ پیش‌چاپ arXiv منتشر شده و طبق اطلاعات مقاله، برای کنفرانس WACV 2027 پذیرفته شده است.