هوش مصنوعی
آزمون LinAlg-Bench: خطاهای مدل‌های زبانی در جبر خطی از محاسبه به جعل پاسخ می‌رسد
پژوهشگران با سنجش ۱۰ مدل روی مسائل ماتریسی می‌گویند عملکرد مدل‌ها در ابعاد ۴×۴ به بعد دگرگون می‌شود؛ شکست‌ها کمتر شبیه خطای محاسباتی و بیشتر شبیه رهاکردن حل مسئله و ساختن پاسخ است.
پژوهشگران در پیش‌چاپی در arXiv، مجموعه‌آزمون LinAlg-Bench را برای بررسی توانایی مدل‌های زبانی بزرگ در محاسبات ساختاریافتهٔ جبر خطی معرفی کرده‌اند. این آزمون ۱۰ مدل را در ۹ نوع مسئله با ماتریس‌های ۳×۳، ۴×۴ و ۵×۵ می‌سنجد و شامل ۶۶۰ مسئلهٔ تأییدشده با SymPy است. در مجموع، ۶۶۰۰ خروجی مدل بررسی شده است.
به‌گزارش پژوهش، خطاها تصادفی نیستند و با نوع الگوریتم و ابعاد ماتریس ارتباط دارند. در مسائل کوچک‌تر، خطاهایی مانند گم‌کردن علامت، انحراف محاسباتی و اشتباه در زوج‌وفرد بودن دیده می‌شود؛ اما از ابعاد ۴×۴ به بالا، مدل‌ها بیشتر از ادامهٔ محاسبه بازمی‌مانند و پاسخ‌هایی ساختگی می‌سازند. پژوهشگران این تغییر را در مدل‌ها و معماری‌های گوناگون مشاهده کرده‌اند و آن را نشانه‌ای احتمالی از محدودیت حافظهٔ کاری می‌دانند، نه صرفاً کمبود دانش.
تیم پژوهش با یک فرایند خودکار سه‌مرحله‌ای، ۱۱۵۶ شکست را در ده برچسب اصلی و زیرگونه‌های دقیق‌تر دسته‌بندی کرده است. سه نوع خطا نیز فقط در ابعاد ۴×۴ و ۵×۵ پدیدار شده‌اند. مقاله همچنین می‌گوید انعطاف‌ناپذیری در انتخاب راهبرد حل، پیش‌بینی‌کننده‌ای تقریباً کامل برای دقت محاسبهٔ دترمینان ماتریس‌های ۵×۵ بوده است. داده‌ها، خروجی مدل‌ها، برچسب‌های خطا و ابزار داوری پژوهش به‌صورت عمومی منتشر شده‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده