هوش مصنوعی
معیارسنجی ۸ دستیار هوش مصنوعی برای پاسخ‌گویی دربارهٔ قانون هوش مصنوعی اتحادیهٔ اروپا
پژوهشگران بنچمارکی با ۱۱۰ پرسش تشریحی طراحی کرده‌اند تا دقت پاسخ‌ها، کیفیت ارجاع‌ها و عملکرد دستیارها در برابر پرسش‌های پیگیری را بسنجند.
یک پیش‌چاپ تازه در arXiv از «بنچمارک پرسش‌وپاسخ قانون هوش مصنوعی اتحادیهٔ اروپا» رونمایی می‌کند؛ مجموعه‌ای از ۱۱۰ پرسش تشریحی دربارهٔ مقررات اتحادیهٔ اروپا با شناسهٔ ۲۰۲۴/۱۶۸۹. هر پرسش پاسخ نمونه، معیارهای اختصاصی برای سنجش درستی و منابع مورد انتظار دارد.
این ارزیابی درستی پاسخ، کیفیت ارجاع‌ها، اختصار، لحن و زمان پاسخ‌گویی را می‌سنجد. بنچمارک همچنین حالتی دشوارتر دارد که در آن دستیار باید به مخالفت یا پیگیری شبیه‌سازی‌شدهٔ کاربر پاسخ دهد. نویسندگان نتایج چالش ۲۰۲۶ این حوزه را نیز گزارش کرده‌اند؛ چالشی که سه دستیار آماده و پنج دستیار تخصصی را بررسی کرده است. چکیدهٔ در دسترس جزئیات نتایج یا رتبه‌بندی این سامانه‌ها را بیان نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده