پژوهش: حتی مدل‌های پیشرفته در استدلال چندمرحله‌ای بر پایهٔ روابط ضعف دارند

پژوهشی منتشرشده در arXiv، توانایی مدل‌های زبانی در استدلال بر پایهٔ اطلاعاتی را بررسی می‌کند که مستقیماً در متن ورودی آمده‌اند؛ یعنی بدون بازیابی اطلاعات و با تمرکز بر این‌که مدل‌ها از شواهد موجود در متن استفاده می‌کنند یا به دانسته‌های آموخته‌شده در پیش‌آموزش تکیه دارند.

پژوهشگران آزمون Rel-Bloom را با ۴۵۰ پرسش چندگزینه‌ای دربارهٔ ۳۰ رابطهٔ Wikidata طراحی کردند. پرسش‌ها در پنج سطح الهام‌گرفته از طبقه‌بندی بلوم—یادآوری، درک، کاربرد، تحلیل و ارزیابی—و در سه وضعیت factual، خلاف‌واقع و خنثی‌شده تنظیم شده‌اند. این آزمون ۴۳ مدل را در شش زبان و دو وضعیت چندزبانه سنجیده و در مجموع ۲۲۶٬۸۰۰ پیش‌بینی را در بر می‌گیرد.

در همهٔ خانواده‌های مدل‌های open-weight ارزیابی‌شده، دقت از سطح کاربرد به تحلیل به‌شدت افت کرده است؛ این فاصله در گروه Large Granite به ۴۷٫۲ واحد درصد می‌رسد. این الگو در دو مدل Gemini دیده نشده است. بااین‌حال، ارزیابی روابط برای مدل‌های قوی نیز دشوار باقی مانده: Gemini 3.1 Pro در چهار سطح دیگر به‌طور میانگین ۹۹٫۵ درصد دقت داشته، اما در سطح ارزیابی دقتش ۶۰٫۷ درصد بوده است.

رتبه‌بندی دشواری پرسش‌ها و روابط در زبان‌های مختلف به‌طور منسجم حفظ شده است؛ یافته‌ای که نشان می‌دهد بخشی از ساختار دشواری در این آزمون میان زبان‌ها مشترک است. همچنین، پرسش‌های مبتنی بر زمینه‌های خلاف‌واقع عموماً دشوارتر از پرسش‌های factual بوده‌اند. حذف هویت موجودیت‌ها نیز در برخی وضعیت‌های مدل، عملکرد در سطوح بالاتر را بهبود داده است.

مقاله می‌گوید توانایی بیشتر مدل به‌تنهایی تضمین نمی‌کند که مدل بتواند شواهد رابطه‌ای ارائه‌شده در متن را به‌طور قابل‌اعتماد تحلیل کند. این پژوهش در COLM 2026 منتشر شده است.