پژوهش
پژوهشگران دربارهٔ سنجش استدلال علّی مدل‌های زبانی با CLadder هشدار می‌دهند
پیش‌چاپی در arXiv بررسی می‌کند که عملکرد خوب مدل‌های زبانی بزرگ در آزمون‌های تولیدشده با CLadder تا چه اندازه نشان‌دهندهٔ توانایی واقعی آن‌ها در استدلال علّی است.
پژوهشگران در این مقاله چند الگوی سطحی و به‌شدت پیش‌بینی‌کننده را شناسایی کرده‌اند که مولد CLadder در مجموعه‌داده‌هایش گنجانده است. CLadder چارچوبی برای تولید داده‌های بنچمارک است که در سال ۲۰۲۳ منتشر شد و از ابزارهای رایج ارزیابی استدلال علّی رسمی در مدل‌های زبانی بزرگ به‌شمار می‌رود.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗