هوش مصنوعی
معیار MPRBench دشواری استدلال شخصی‌سازی‌شده در مدل‌های چندوجهی را می‌سنجد
این معیار ۱۲ وظیفه دارد و خطاهای مدل‌ها را نیز بررسی می‌کند؛ پژوهشگران می‌گویند مدل‌های فعلی در تشخیص مفاهیم شخصی و نادیده‌گرفتن اطلاعات نامربوط مشکل دارند.
پژوهشگران در مقاله‌ای که در arXiv منتشر شده، MPRBench را معرفی کرده‌اند؛ معیاری برای سنجش توانایی مدل‌های زبانی بزرگ چندوجهی در استدلال بر پایهٔ اطلاعات شخصیِ گوناگون. این مدل‌ها برای تصمیم‌گیری باید بتوانند انواع اطلاعات شخصی را کنار هم در نظر بگیرند؛ قابلیتی که به‌گفتهٔ نویسندگان کمتر بررسی شده است.
MPRBench شامل ۱۲ زیروظیفه است و امکان بررسی تفسیرپذیر نمونه‌های خطا را هم فراهم می‌کند. آزمایش‌های نویسندگان نشان می‌دهد مدل‌های فعلی در استدلال شخصی‌سازی‌شده هنوز با دشواری روبه‌رو هستند؛ از جمله در تشخیص دقیق مفاهیم شخصی و مقاومت در برابر اطلاعات شخصی نامربوط. نویسندگان امیدوارند این معیار به پژوهش‌های بیشتر در این زمینه کمک کند. مقاله اعلام می‌کند کد و داده‌ها در دسترس‌اند و می‌گوید پژوهش برای WACV 2027 پذیرفته شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده