هوش مصنوعی
چارچوبی برای سنجش دقیق‌تر عامل‌های هوش مصنوعی در کارهای دانشی
پژوهشگران پیشنهاد می‌کنند بنچمارک‌ها علاوه بر وظیفه و معیارها، فعالیت، محیط اجرا، محصول کاری و نتیجهٔ ارزیابی را هم گزارش کنند.
مقاله‌ای تازه در arXiv می‌گوید بنچمارک‌های عامل‌های هوش مصنوعی برای کارهای دانشی معمولاً با شرح وظایف، محیط‌ها و معیارهای ارزیابی معرفی می‌شوند، اما چند انتخاب مهم در طراحی آن‌ها پنهان می‌ماند. نویسندگان برای شفاف‌ترکردن این بنچمارک‌ها، چارچوبی پیشنهاد کرده‌اند که توصیف را حول کاری که انجام می‌شود سازمان می‌دهد و چهار مورد را ثبت می‌کند: فعالیت بازنمایی‌شده، محیط آزمون، محصول کاریِ موردنیاز و نتیجهٔ ارزیابی.
پژوهشگران با یادگیری بدون‌نظارت و بازبینی انسانی، گزاره‌های مربوط به وظایف در پایگاه O*NET را در ۱۸ فعالیت مشترک دسته‌بندی کردند. سپس چارچوب را برای بررسی GDPval، OfficeQA Pro و APEX-SWE به کار بردند. در هر سه بنچمارک، دامنه‌ای که نتیجهٔ ارزیابی پوشش می‌دهد از دامنهٔ محصول کاریِ درخواستی محدودتر بود.
در بررسی ۲۵ وظیفهٔ عمومیِ یکپارچه‌سازی در APEX-SWE، دو نویسنده کد آزمون‌ها را جداگانه ارزیابی کردند. طبق یافتهٔ مقاله، در ۱۳ وظیفه تحویلی می‌تواند محتوای تثبیت‌شده در دادهٔ منبع را تغییر دهد و همچنان همهٔ آزمون‌ها را بگذراند. نویسندگان چهار فیلد پیشنهادی را در قالب یک برگهٔ یک‌صفحه‌ای، همراه با نمونه و الگوی قابل‌تکمیل، ارائه کرده‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده