مداخله در زیرفضای زبان در مدل‌های زبانی چه چیزی را تغییر می‌دهد؟

پژوهشگران با استفاده از مجموعه‌های MATH و MGSM و چهار مدل زبانی بزرگ با وزن‌های باز، سه پرسش را بررسی کرده‌اند: زیرفضاهای تخمینی زبان تا چه اندازه تغییرات مرتبط با ترجمه را دربرمی‌گیرند؟ حذف این زیرفضاها چه اثری بر اطلاعات زبان دارد؟ و آیا این کار دقت را بهبود می‌دهد، بی‌آنکه زبان پاسخ را تغییر دهد؟

برای ساخت زیرفضاها، پژوهش از روش پیشین Mean-SVD و روش DiffPCA استفاده کرده است. هر دو روش بخش قابل‌توجهی از تغییرات مرتبط با ترجمه را ثبت کرده‌اند و الگوهای مشابهی در لایه‌های مختلف مدل نشان داده‌اند. پژوهشگران سپس این زیرفضاها را از فعال‌سازی‌ها حذف کرده و از طبقه‌بندهای خطی برای تشخیص زبان استفاده کرده‌اند؛ اما چکیدهٔ ارائه‌شده پیش از بیان نتیجهٔ این آزمون و اثر مداخله بر دقت و زبان پاسخ قطع می‌شود، بنابراین نمی‌توان دربارهٔ آن نتایج داوری کرد.