چارچوب GEdit می‌کوشد ویرایش دانش در مدل‌های زبانی را دقیق‌تر کند

پیش‌چاپی در arXiv چارچوبی به نام GEdit را برای ویرایش دانش در مدل‌های زبانی بزرگ معرفی می‌کند. به‌گفتهٔ پژوهشگران، روش‌های موجود به ساختار هندسی فضای بازنمایی دانش توجه کافی ندارند؛ در نتیجه، نمی‌توانند میان دانشی که باید بیشتر حفظ شود و دانشی که اهمیت کمتری دارد، یا میان ویرایش‌های دشوار و آسان، تمایز بگذارند.

GEdit بر پایهٔ یک مدل فاکتوری Low-Rank Plus Diagonal ساخته شده که ساختار کم‌رتبهٔ بازنمایی‌های لایه‌های FFN در Transformer را مدل می‌کند. این چارچوب با منظم‌سازی کم‌رتبه از زیرفضای کم‌رتبهٔ دانش محوری محافظت می‌کند و هم‌زمان، شدت منظم‌سازی را با توجه به قابلیت ویرایش هر درخواست تغییر می‌دهد: برای ویرایش‌های دشوار محدودیت‌ها را کاهش می‌دهد و برای ویرایش‌های آسان آن‌ها را سخت‌گیرانه‌تر می‌کند تا دانش پیش‌آموزش‌دیده بهتر حفظ شود.

پژوهشگران GEdit را روی GPT2-XL، GPT-J و LLaMA-3-8B و در سناریوهای ویرایش گسترده، هم به‌صورت دسته‌های کوچک و هم به‌صورت ترتیبی، آزموده‌اند. این آزمایش‌ها تا ۱۰ هزار به‌روزرسانی پیوسته را در بر می‌گیرد. چکیدهٔ مقاله می‌گوید GEdit در این ارزیابی‌ها از روش‌های پیشرو مبنا در موفقیت ویرایش و حفظ دانش بهتر عمل کرده است؛ این گزارش در حال حاضر یک پیش‌چاپ است.