هوش مصنوعی
DeliverBench توانایی عامل‌های هوش مصنوعی را در اجرای پروژه‌های چندمرحله‌ای می‌سنجد
این بنچمارک ۱۱ پروژهٔ حرفه‌ای را از مرحلهٔ دریافت شرح کار تا تحویل نهایی بازسازی می‌کند؛ پروژه‌هایی که در مجموع ۱۵۰ زیرکار و چند دور بازخورد دارند.
پژوهشگران در پیش‌چاپی در arXiv از DeliverBench رونمایی کرده‌اند؛ بنچمارکی برای سنجش اینکه عامل‌های مبتنی بر مدل‌های زبانی بزرگ می‌توانند یک پروژهٔ حرفه‌ای را از شرح اولیه تا تحویل نهایی پیش ببرند یا نه. نویسندگان می‌گویند بیشتر بنچمارک‌های موجود، عامل‌ها را در هر نوبت با یک کار می‌سنجند، درحالی‌که ارزش کار حرفه‌ای به کیفیت مجموعهٔ خروجی وابسته است و ضعف یک بخش می‌تواند ارزش بخش‌های دیگر را محدود کند.
DeliverBench شامل ۱۱ پروژه در حوزه‌هایی از جمله بررسی موشکافانهٔ مالی، نگارش قرارداد حقوقی و گزارش‌دهی ایمنی دارو است. این پروژه‌ها با همکاری ۱۳ متخصص حوزه و بر پایهٔ مواد واقعی بازسازی شده‌اند و در مجموع ۱۵۰ زیرکار را در بر می‌گیرند. اجرای هر پروژه نیز طی ۲ تا ۱۵ دور، با دریافت مواد تازه و بازخورد مشتری ادامه می‌یابد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده