پژوهش: برای آموزش SAEها می‌توان ذخیرهٔ فعال‌سازی را تا ۶۴ برابر کاهش داد

ذخیره‌سازی فعال‌سازی‌ها می‌تواند گلوگاه آموزش رمزگذارهای خودکار تنک (SAE) باشد. پژوهشگران در پیش‌چاپی در arXiv بررسی کرده‌اند که وقتی بودجهٔ کل آموزش ثابت است، یک SAE به چه تعداد فعال‌سازی یکتا نیاز دارد. به‌گزارش آن‌ها، افزایش اندازهٔ بافر در ابتدا کیفیت را به‌سرعت بهتر می‌کند، اما پس از رسیدن به نقطه‌ای اشباع، تکرار داده‌های بافر تقریباً به‌اندازهٔ استفاده از فعال‌سازی‌های تازه مؤثر است. در این مرحله، دادهٔ یکتای بیشتر بهبود چشمگیری در بازسازی یا تفسیرپذیری ایجاد نمی‌کند.

پژوهشگران این رابطهٔ میان تنوع داده و تکرار آن را با یک قانون مقیاس‌پذیری برای دادهٔ محدود توصیف کرده‌اند. آن‌ها این نتیجه را با اندازه‌های مختلف دیکشنری و بودجه‌های توکنی، در لایه‌های ابتدایی، میانی و پایانی Llama-3.1، در اندازه‌های مختلف Qwen3 و با سه نوع SAE شامل BatchTopK، TopK و JumpReLU سنجیده‌اند. آزمایش‌ها همچنین داده‌های ریاضی و کد Python را برای بررسی اثر تغییر منبع فعال‌سازی به‌کار گرفته‌اند؛ ارزیابی‌ها معیارهایی مانند واریانس تبیین‌شده، خطای میانگین مربعات بازسازی، جذب ویژگی‌ها، تفسیرپذیری خودکار و کاوش تنک را دربر می‌گیرد.

قاعدهٔ عملی پیشنهادی مقاله این است که کوچک‌ترین بافری انتخاب شود که کیفیت را به نقطهٔ اشباع می‌رساند و سپس همان داده‌ها برای باقی‌ماندهٔ بودجهٔ آموزش تکرار شوند. در آزمایش‌های گزارش‌شده، این روش ذخیره‌سازی فعال‌سازی را ۸ تا ۶۴ برابر کاهش داد و افت کیفیت ناچیزی داشت. مقاله در نسخهٔ پیش‌چاپ arXiv منتشر شده است.