پژوهش
پژوهشگران بنچمارکی برای ارزیابی مدل‌های زبانی در همجوشی محصورسازی لَختی ساختند
این بنچمارک ۲۵۰ پرسش در حوزه‌های استدلال کیفی، محاسبات عددی، استنتاج نمادین و صورت‌بندی معادله دارد و برای مقایسهٔ مدل‌های عمومی با مدل تخصصی Prospero طراحی شده است.
پژوهشگران در پیش‌چاپی در arXiv، بنچمارکی با ۲۵۰ پرسش برای سنجش تسلط علمی، استدلال فیزیکی و توان تحلیل کمّی مدل‌های زبانی معرفی کرده‌اند. همجوشی محصورسازی لَختی (ICF) حوزهٔ آزمایشی این بنچمارک است و پاسخ‌ها با بررسی‌های قطعی عددی و نمادین و همچنین داوری مدل‌های زبانی ارزیابی شده‌اند.
این مطالعه مدل‌های زبانی بزرگ متن‌باز و تجاریِ آماده‌به‌کار را با Prospero مقایسه می‌کند؛ مدلی که با پیش‌آموزش تطبیقی با حوزه و تنظیم دقیق نظارت‌شده برای ICF تخصصی شده است. پژوهشگران همچنین ارزیابی‌های اولیه‌ای با کمک بازیابی اطلاعات انجام داده‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗