FrontierPhysics می‌سنجد عامل‌های هوش مصنوعی تا چه حد می‌توانند پژوهش فیزیک انجام دهند

پژوهشگران در پیش‌چاپی در arXiv بنچمارک FrontierPhysics را معرفی کرده‌اند؛ مجموعه‌ای برای سنجش توانایی عامل‌های هوش مصنوعی در انجام پژوهش فیزیک از ابتدا تا انتها. برخلاف بنچمارک‌هایی که پرسش‌های ثابت، وظایف جداگانه یا بازتولید مقاله با راه‌حل آماده را می‌سنجند، این مجموعه هم درستی کار و هم کیفیت پژوهش را ارزیابی می‌کند.

FrontierPhysics شامل ۵۶ وظیفه است که ۴۲ فیزیک‌دان بر پایهٔ پژوهش‌های خود طراحی کرده‌اند و ۹ حوزه از فیزیک نظری، محاسباتی و تجربی را پوشش می‌دهد. عامل‌ها باید برای هر وظیفه پیشینهٔ پژوهش را بررسی کنند، برنامه‌ای تدوین کنند، پژوهش و آزمایش انجام دهند و خروجی‌های ساختاریافته و دست‌نوشتهٔ علمی ارائه دهند. ارزیابی با ترکیبی از بررسی‌گرهای قطعی و معیارهایی انجام می‌شود که کارشناسان نوشته‌اند؛ هدف آن سنجش این است که آیا نتیجه هم درست است و هم قابلیت انتشار دارد.

در آزمایش ۲۲ مدل با ۲۶ پیکربندی، هیچ پیکربندی‌ای بیش از ۴۶ مورد از مجموع ۱۶۸ اجرا را نگذرانده است. بررسی دستی مسیر کار عامل‌ها نشان داد ضعف‌های اصلی، به‌گفتهٔ پژوهشگران، استدلال نه‌چندان دقیق و محدودیت در شهود تخصصی است؛ نه کمبود دانش فیزیک یا خطا در اجرای وظایف.