هوش مصنوعی

پژوهش: زنجیرهٔ استدلالِ قابل‌مشاهده لزوماً رفتار مدل را قابل‌نظارت نمی‌کند

پیش‌چاپی در arXiv چهار ویژگی متفاوت را در نظارت بر استدلال مدل‌ها از هم جدا می‌کند و با دو مطالعهٔ موردی، اهمیت این تمایز را بررسی می‌کند.

۱ دقیقه مطالعه
Figure 3 : Token-by-layer activation-patching scan. The changed and control panels share a color scale; the final panel shows their difference. Layers are zero-indexed, and token positions count backward from the end of
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

نمایش زنجیرهٔ استدلال (CoT) معمولاً راهی برای آسان‌تر کردن نظارت بر رفتار مدل تلقی می‌شود؛ اما نویسندگان پیش‌چاپی در arXiv می‌گویند این فرض، چند ویژگی متمایز را با هم خلط می‌کند. آن‌ها چهار مفهوم را از هم جدا می‌کنند: دسترس‌پذیری ردپای استدلال، بازتاب‌دادن محاسبات درونی مدل در آن ردپا، امکان شناسایی یک سازوکار علّیِ فشرده و توانایی ناظر برای تشخیص رفتار هدف. پژوهش با دو مطالعهٔ موردی روی سه مدل استدلالی با وزن‌های باز نشان می‌دهد چرا باید این ویژگی‌ها را جداگانه سنجید.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست