هوش مصنوعی

VisSearch-Bench توانایی جست‌وجوی تصویری بلندمدتِ عامل‌های چندوجهی را می‌سنجد

این بنچمارک با ۲۰۴ وظیفهٔ دست‌نویس، بررسی می‌کند عامل‌ها چگونه اطلاعات بصری را در چند مرحلهٔ جست‌وجو سازمان‌دهی و به یافته‌های دیگر پیوند می‌دهند.

۱ دقیقه مطالعه
Figure 1 : Accuracy of models and agents on VisSearch-Bench , comparing direct answering with ReAct and DeerFlow. The dashed line marks the average accuracy across the systems shown.
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپی در arXiv، بنچمارکی به نام VisSearch-Bench معرفی کرده‌اند تا توانایی عامل‌های چندوجهی در مدیریت زمینهٔ بصری را ارزیابی کنند. به‌گفتهٔ نویسندگان، بعضی از وظایف جست‌وجو از تصویر فقط برای شناسایی موجودیتی اولیه استفاده می‌کنند و سپس پاسخ را با بازیابی متنی می‌یابند؛ چنین وظایفی نشان نمی‌دهند عامل چگونه اطلاعات را میان تصاویر، اشیا و گام‌های مختلف جست‌وجو مرتبط می‌کند.

VisSearch-Bench شامل ۲۰۴ وظیفهٔ نوشته‌شده به‌دست انسان است که در ۷ حوزهٔ اصلی و ۲۵ زیرحوزه قرار می‌گیرند. این وظایف جست‌وجوی تصویری مجموعه‌ای، جست‌وجوی تصویری ترتیبی و ترکیبی را در بر می‌گیرند. بنچمارک بر کارهایی تمرکز دارد که در آن‌ها عامل باید ویژگی‌های ظاهری اشیا، جزئیات محلی یا روابط مکانی را با اطلاعات بیرونی ترکیب کند.

این مقاله نسخهٔ نخست پیش‌چاپ است و چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج ارزیابی یا عملکرد عامل‌ها ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست