پژوهشگران ردّ جمع‌بودن را در سازوکار زبانی مدل‌های بزرگ پیدا کردند

پژوهشگران در پیش‌چاپی در arXiv از Sparse Autoencoderها (SAE) برای بررسی بازنمایی تطابق شمار در مدل زبانی Pythia-70M استفاده کرده‌اند. این روش، بردارهای حالت پنهان مدل را به ویژگی‌هایی قابل‌تفسیرتر تبدیل می‌کند و به محققان امکان می‌دهد بررسی کنند اطلاعات دستوری چگونه در مدل بازنمایی و پردازش می‌شود.

در آزمایش‌ها، پژوهشگران ویژگی‌هایی مانند «اسم جمع»، «فاعل جملهٔ اصلیِ جمع» و «تولید فعل جمع» را شناسایی و در حالت‌های پنهان مدل دست‌کاری کردند. حذف این ویژگی‌ها از بازنمایی توکن‌های اسمِ فاعل جمع باعث شد مدل به‌جای فعل جمع، صورت مفرد تولید کند؛ دست‌کاری در جهت عکس نیز نتیجهٔ معکوس داشت. این ویژگی‌ها می‌توانند در انتخاب صورت‌هایی مانند are، do و have در برابر is، does و has نقش داشته باشند.

اثر ویژگی‌های متناظر با اسم مفرد و تولید فعل مفرد به همان اندازه قوی نبود. نویسندگان این عدم تقارن را نشانه‌ای از آن می‌دانند که Pythia-70M ممکن است شمار دستوری انگلیسی را به‌شکلی بازنمایی کند که در آن جمع برجسته است و مفرد بیشتر حالت پیش‌فرض را دارد. آن‌ها می‌گویند نتایج مشابهی در Gemma-2-2b و Llama-3.1-8b نیز تکرار شده است.

این مقاله پیش‌چاپ است و پژوهشگران سهم اصلی کار را ارائهٔ روشی برای به‌کارگیری SAEها در مطالعهٔ بازنمایی زبان انسانی در مدل‌ها می‌دانند؛ روشی که به گفتهٔ آن‌ها با شماری از چالش‌های فنی و روش‌شناختی روبه‌رو بوده است.