هوش مصنوعی
FABench؛ محیطی برای ارزیابی عامل‌های پیش‌بینی با رویدادهای گذشته
پیش‌چاپی در arXiv، بنچمارکی معرفی می‌کند که با بازسازی رویدادها و پرسش‌های گذشته، ارزیابی عامل‌های پیش‌بینی را از انتظار برای رخدادهای آینده بی‌نیاز می‌کند.
پیش‌بینی، توانایی‌های چندگانهٔ عامل‌های دیجیتال را می‌آزماید: آن‌ها باید شواهد ناقص را کنار هم بگذارند، محرک‌های علّی را تشخیص دهند و به برآوردهای احتمالاتیِ کالیبره‌شده متعهد شوند. نویسندگان پیش‌چاپی در arXiv می‌گویند بنچمارک‌های موجود برای سنجش و بهبود این توانایی مناسب نیستند: ارزیابی زنده تا مشخص‌شدن نتیجهٔ رویدادها طول می‌کشد و بنچمارک‌های مبتنی بر مجموعه‌دادهٔ ثابت، پژوهش را به اسناد ازپیش‌گردآوری‌شده محدود می‌کنند.
پژوهشگران FABench را به‌عنوان محیطی مقیاس‌پذیر برای پس‌آزمایی عامل‌های پیش‌بینی معرفی کرده‌اند. بنا بر چکیدهٔ پیش‌چاپ، خط لوله‌ای خودکار در این محیط رویدادها را پیدا می‌کند، پرسش می‌سازد و نتیجه‌ها را تعیین می‌کند. متن در دسترس در منبع پیش از توضیح کامل دامنهٔ اجرایی این فرایند پایان می‌یابد؛ بنابراین جزئیات بیشتر دربارهٔ پوشش یا نتایج ارزیابی در آن ارائه نشده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده