هوش مصنوعی

پژوهشگران می‌گویند سنجش دقت پاسخ برای ارزیابی سازگاری استدلال هوش مصنوعی کافی نیست

یک پیش‌چاپ در arXiv دو نوع سازگاری استدلال را از هم متمایز می‌کند و خواستار ارزیابی‌هایی است که واکنش مدل‌ها به تغییر مسئله و شواهد را بیازماید.

۱ دقیقه مطالعه
Figure 4: Within-task adaptivity in ARC-AGI-3 task r11L . (a) The initial state of Level 1. (b) Clicking a black cell moves the current white endpoint, providing confirming evidence about endpoint control. (c) Clicking t
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپی در arXiv استدلال می‌کنند که دقت پاسخ نهایی، ردپای استدلال، نظارت بر فرایند و سنجه‌های کارایی نشان نمی‌دهند که سامانه‌های هوش مصنوعی هنگام تغییر وظیفه یا شواهد، واقعاً شیوهٔ استدلال خود را تطبیق می‌دهند یا نه.

این مقاله دو نوع سازگاری را از هم جدا می‌کند: سازگاری میان وظایف، یعنی انتقال یا ترکیب دوبارهٔ انتزاع‌های آموخته‌شده برای حل مسئله‌های تازه؛ و سازگاری درون یک وظیفه، یعنی بازنگری در فرضیه‌ها و اقدام‌ها در واکنش به مشاهده‌های جدید، بازخورد یا مثال‌های نقض. نویسندگان ARC-AGI را به‌عنوان مطالعهٔ موردی تشخیصی بررسی می‌کنند، نه معیار هم‌سوسازی، و رویکردی مداخله‌محور برای ارزیابی پیشنهاد می‌دهند. چکیدهٔ در دسترس جزئیات بیشتری از این روش ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست