هوش مصنوعی
SciGame معیاری برای سنجش توانایی عامل‌های هوش مصنوعی در کشف علمی معرفی کرد
این بنچمارک می‌کوشد استنتاج قوانین علمی را از برنامه‌نویسی و برازش داده جدا کند و نقش دانش پیش‌آموخته را از شواهد تجربی تفکیک کند.
پژوهشگران در پیش‌چاپی در arXiv، بنچمارکی به نام SciGame معرفی کرده‌اند که توانایی عامل‌های مبتنی بر مدل‌های زبانی بزرگ را در کشف علمی می‌سنجد. به‌گفتهٔ نویسندگان، بنچمارک‌های موجود گاهی استنتاج قانون را با برنامه‌نویسی درمی‌آمیزند، به‌جای پیش‌بینی ورودی‌های دیده‌نشده برازش داده را امتیاز می‌دهند و شواهد تجربی را از دانسته‌های پیش‌آموختهٔ مدل جدا نمی‌کنند.
SciGame ادبیات علمی را به «کارت‌های علمی» ساختاریافته تبدیل می‌کند. هر کارت دو محیط با رابط یکسان می‌سازد: محیط اصلی و محیط خلاف‌واقعی که در آن ابعاد از نظر سازگاری حفظ شده‌اند. مجموعهٔ داده شامل بخشی تاریخی با قوانین شناخته‌شده و بخشی زمانی است که از مقاله‌های منتشرشده پس از مهلت دانشی مدل‌ها گردآوری شده است.
بنچمارک عامل‌ها را در دو وضعیت ارزیابی می‌کند: شناسایی قانون از میان گزینه‌های پیشنهادی و کشف باز، بدون محدودشدن به فهرستی از گزینه‌ها. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ روش امتیازدهی یا نتایج ارزیابی ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗