هوش مصنوعی

عامل ModalSearcher برای جست‌وجوی چندوجهی، میان متن و تصویر تصمیم می‌گیرد

پژوهشگران می‌گویند ModalSearcher-8B در پنج بنچمارک پرسش‌وپاسخ چندوجهی، میانگین دقت را نسبت به Qwen3-VL-8B به‌اندازهٔ ۱۶٫۲ واحد درصد افزایش داده است.

۲ دقیقه مطالعه
Figure 2: Overview of the proposed data-synthesis pipeline. The pipeline constructs an interleaved multimodal knowledge graph, samples modality-diverse reasoning paths, and synthesizes questions that obscure shortcuts an
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپی در arXiv سامانه‌ای به نام ModalSearcher را معرفی می‌کند که هنگام پاسخ‌گویی به پرسش‌های پیچیده، خودش انتخاب می‌کند چه زمانی از استدلال مستقیم، جست‌وجوی متن، جست‌وجوی متن‌به‌تصویر یا جست‌وجوی معکوس تصویر استفاده کند. هدف، جمع‌آوری و ترکیب شواهد در چند مرحله است؛ به‌ویژه برای پرسش‌هایی که پاسخشان به دانش تازه یا اطلاعاتی فراتر از دانسته‌های درونی مدل نیاز دارد.

پژوهشگران برای آموزش عامل، خط لولهٔ ModalSearch-Pipeline را ساخته‌اند که از گراف دانش چندوجهی، مسئله‌هایی با مسیرها و ترکیب‌های متفاوت متن و تصویر تولید می‌کند. آن‌ها نام موجودیت‌ها و هدف‌های تصویری‌ای را که ممکن است میان‌بُر استدلالی فراهم کنند، در صورت امکان پنهان می‌کنند، اما سرنخ‌های لازم برای رفع ابهام را نگه می‌دارند. عامل با تنظیم دقیق نظارت‌شده و یادگیری تقویتی در محیط زندهٔ وب آموزش دیده و پژوهشگران هم‌زمان بنچمارک ModalSearch-Bench را ساخته‌اند.

طبق نتایج گزارش‌شده در پیش‌چاپ، ModalSearcher-8B با همان روند کاریِ عامل‌محور، در پنج بنچمارک پرسش‌وپاسخ دانش‌محور چندوجهی، میانگین دقت را ۱۶٫۲ واحد درصد نسبت به Qwen3-VL-8B بالا برده است. نویسندگان همچنین از بهبودهای پیوسته در بنچمارک‌های جست‌وجوی فعال تصویریِ ساخته‌شده به‌طور مستقل خبر می‌دهند. این مقاله نسخهٔ پیش‌چاپ است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست