چارچوبی برای سنجش هم‌راستایی مدل‌های چندوجهی با شیوهٔ قضاوت انسان

پژوهشی تازه در arXiv چارچوبی برای هم‌راستاکردن مدل‌های زبانی بزرگ چندوجهی (MLLMs) با ساختارهای نهفتهٔ شناخت انسان پیشنهاد می‌کند. نویسندگان می‌گویند با وجود عملکرد چشمگیر این مدل‌ها در وظایف استدلالی، هنوز روشن نیست بازنمایی‌های درونی و معیارهای تصمیم‌گیری آن‌ها تا چه اندازه با شیوهٔ قضاوت انسان هم‌خوان است.

این چارچوب بر فضایی معنایی تکیه دارد که در آن اشیا با ۶۶ بُعد قابل‌تفسیر نمایش داده می‌شوند. این ابعاد از ۴٫۷ میلیون قضاوت انسانی در آزمون «یکی را متفاوت انتخاب کن» (Odd-One-Out) به دست آمده‌اند. پژوهشگران برای هر سه‌تایی، بُعدی را که احتمالاً مبنای برجستهٔ تصمیم بوده استنباط می‌کنند و آن را به توجیهی زبانی تبدیل می‌کنند که به همان بُعد مشخص متکی است.

منبع در دسترس تنها چکیدهٔ ناقصی از مقاله ارائه می‌کند؛ بنابراین جزئیات بیشتری دربارهٔ نحوهٔ ارزیابی چارچوب یا نتایج آن در این داده‌ها نیامده است. مقاله در arXiv منتشر شده و پیش‌چاپ است.