پژوهش

TriPhysBench هماهنگی ادراک و استدلال فیزیکی عامل‌های تجسم‌یافته را می‌سنجد

پژوهشگران در یک پیش‌چاپ، بنچمارکی با ۴۱۰ پرسش از ۲۰۰ ویدئو معرفی کرده‌اند تا سه توانایی عامل‌ها را در سناریوهای فیزیکی ارزیابی کنند.

۱ دقیقه مطالعه
Figure 1: Overview of TriPhysBench and TriPhys. Blue, yellow, and pink denote physical perception (W1), knowledge retrieval (W3), and reasoning (W2), respectively. Scenes and workflow are schematic.
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

عامل‌های تجسم‌یافته برای فهم محیط باید بتوانند ویژگی‌های فیزیکی را درک کنند، دانش مرتبط را بازیابی کنند و دربارهٔ موقعیت‌ها استدلال کنند. پیش‌چاپ TriPhysBench می‌گوید بنچمارک‌های موجود به فهم فیزیکی و کاربرد عمومی ابزارها پرداخته‌اند، اما هماهنگی این توانایی‌ها در موقعیت‌های فیزیکی به‌اندازهٔ کافی بررسی نشده است.

TriPhysBench با الهام از ایدهٔ «سه جهان» کارل پوپر، ۴۱۰ پرسش بر پایهٔ ۲۰۰ ویدئو گرد آورده و سه قابلیت ادراک فیزیکی، بازیابی دانش فیزیکی و استدلال فیزیکی را در یک چارچوب ارزیابی می‌سنجد. زیرمجموعه‌های آن نیز بر دو نوع تکیه‌گاه تأکید دارند: اندازه‌گیری و دانش. چکیدهٔ در دسترس دربارهٔ جزئیات بیشتر این زیرمجموعه‌ها توضیح نمی‌دهد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست