هوش مصنوعی

پژوهشگران FrontierMat را برای سنجش توان مدل‌های زبانی در مرز پژوهش مواد معرفی کردند

این معیار شامل ۳۳۰ مسئله از پژوهش‌های دانشگاهی و صنعتی در حوزه‌هایی مانند نیمه‌رساناها، هوافضا و همجوشی هسته‌ای است؛ مسائلی که پاسخشان در دانش تثبیت‌شدهٔ کتاب‌های درسی خلاصه نمی‌شود.

۱ دقیقه مطالعه

پژوهشگران در پیش‌چاپی در arXiv معیار FrontierMat را معرفی کرده‌اند؛ مجموعه‌ای برای ارزیابی توان مدل‌های زبانی در حل مسئله‌های پیشرفتهٔ پژوهش مواد. به‌گفتهٔ نویسندگان، معیارهای مبتنی بر کتاب‌های درسی و آزمون‌ها عمدتاً دانش تثبیت‌شده را می‌سنجند و عملکرد مدل‌ها در برابر پرسش‌های پژوهشیِ مرزی را کمتر بررسی می‌کنند.

FrontierMat شامل ۳۳۰ مسئله برگرفته از پژوهش‌های دانشگاهی و صنعتی در حوزه‌هایی از جمله هوافضا، نیمه‌رساناها، هوش تجسم‌یافته و همجوشی هسته‌ای است. هر مسئله یک مطالعهٔ واقعی را ارائه می‌کند و از مدل می‌خواهد نتیجه‌ای اعلام‌نشده را استنباط کند یا بر پایهٔ شواهد آزمایشیِ منتخب به جمع‌بندی برسد. پژوهشگران می‌گویند متخصصان برجستهٔ آزمایشگاهی و صنعتی در هر حوزه، مسئله‌ها را اعتبارسنجی کرده‌اند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست