هوش مصنوعی
VagueBench می‌سنجد عامل‌های embodied با حذف سرنخ‌های محیطی چقدر آسیب‌پذیر می‌شوند
پیش‌چاپی در arXiv پدیده‌ای به نام «توهم زمینه‌ای محیطی» را معرفی می‌کند: عامل ممکن است با وجود ثابت‌ماندن معنای وظیفه، در برابر دستورهای کم‌جزئیات‌تر درست عمل نکند.
پژوهشگران در پیش‌چاپ VagueBench می‌گویند ارزیابی‌های رایجِ استحکام عامل‌های embodied بیشتر بر دستورهای خطرناک و آسیب‌پذیری در برابر jailbreak متمرکز است و مسئله‌ای بنیادی‌تر را کمتر بررسی می‌کند: عملکرد عامل هنگام دریافت دستورهایی که از نظر معنا کافی‌اند، اما جزئیات زمینه‌ایِ اضافی ندارند؛ وضعیتی که در ارتباط روزمرهٔ انسان‌ها رایج است.
آن‌ها این شکست را «توهم زمینه‌ای محیطی» نامیده‌اند و برای بررسی نظام‌مند آن، بنچمارک VagueBench را بر پایهٔ محیط شبیه‌سازی تعاملی AI2-THOR ساخته‌اند. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ طراحی بنچمارک یا نتایج آزمایش‌ها ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده