پژوهشگران از جدایی «الگوهای رابطه‌ای» و موضوع در نورون‌های یک مدل زبانی می‌گویند

پژوهشگران در پیش‌چاپی در arXiv می‌گویند در مدل زبانی Qwen3.8-27B می‌توان نورون‌های مرتبط با سه جنبه را از هم تشخیص داد: الگوهای رابطه‌ایِ مشترک میان حوزه‌ها، موضوع متن و زبان آن. نمونهٔ الگوی رابطه‌ای، «نقطهٔ عطف» است؛ موضوع می‌تواند سیاست، بوم‌شناسی یا زیست‌شناسی سلولی باشد و زبان متن نیز انگلیسی، اسپانیایی یا چینی.

به‌گزارش نویسندگان، خاموش‌کردن نورون‌های مرتبط با یک الگو باعث می‌شود مدل دیگر آن الگو را تشخیص ندهد، اما همچنان موضوع متن را بشناسد. خاموش‌کردن نورون‌های موضوعی نیز موضوع را از دسترس مدل خارج می‌کند، درحالی‌که تشخیص الگو باقی می‌ماند. نقشهٔ نورونی بررسی‌شده لایه‌هایی به‌شکل «ساندویچ» نشان می‌دهد: زبان‌ها در لایه‌های بیرونی، موضوع‌ها در لایه‌های میانی و الگوهای انتزاعی در مرکز قرار دارند.

نویسندگان می‌گویند این ساختار در جریان پیش‌آموزش خودبه‌خود شکل می‌گیرد و در همهٔ مدل‌هایی که بررسی کرده‌اند دیده شده است. آن‌ها الگوهای انتزاعی را زیرساخت قیاس می‌دانند و پیشنهاد می‌کنند جدایی این الگوها از موضوع‌ها ممکن است سازوکاری برای هوشمندی مدل زبانی باشد؛ این ادعا در قالب یک پیش‌چاپ مطرح شده است. مقاله همراه با مجموعه‌ای از نورون‌ها، متن‌ها، پاسخ‌ها و کد برای بازتولید آزمایش منتشر شده است.