پژوهشگران «قابلیت ممیزی» را به معیارهای فراموش‌کردن داده در مدل‌های زبانی افزودند

پیش‌چاپی در arXiv با معرفی معیاری به نام «قابلیت ممیزی» می‌پرسد آیا ارائه‌دهندهٔ یک مدل زبانی می‌تواند پس از درخواست حذف داده، شواهدی برای کاربر فراهم کند که نشان دهد دادهٔ درخواستی از مدل کنار گذاشته شده است. این معیار، جدایی میان مجموعهٔ داده‌های درخواستی برای فراموشی و داده‌های نگه‌داشته‌شده را بر اساس آماری می‌سنجد که ارائه‌دهنده محاسبه می‌کند.

پژوهشگران ۱۱ روش فراموش‌سازی را روی مجموعه‌داده‌های TOFU، MUSE و RWKU بررسی کردند و دریافتند هیچ روشی در هر چهار محور موفق نیست؛ ضعف روش‌ها در محورهای مختلف تفاوت دارد. آن‌ها سپس روشی دومرحله‌ای پیشنهاد کردند که می‌تواند روی هر روش فراموش‌سازی به کار رود: مرحلهٔ نخست، GapWiden، با استفاده از تابع زیان hinge فاصلهٔ آمار ممیزی برای داده‌های فراموش‌شده و نگه‌داشته‌شده را افزایش می‌دهد. مرحلهٔ دوم، GapVeil، هنگام استنتاج پاسخ‌های پیشنهادی مدل پایه را با نمونه‌گیری مجدد بر اساس آمار ممیزی پالایش می‌کند.

طبق نتایج گزارش‌شده، این روش قابلیت ممیزی و میزان نشت را در همهٔ روش‌های بررسی‌شده به سطح مرجع ایدئال رساند و عملکرد فراموشی را به آن نزدیک کرد. عملکرد حفظ داده‌ها در ۹ روش از ۱۱ روش بهتر شد، اما به سطح مرجع نرسید. نویسندگان نتیجه می‌گیرند که می‌توان شواهد حذف را از ابتدا در طراحی ساخت؛ بااین‌حال، داده‌های ارائه‌شده نشان نمی‌دهد همهٔ ابعاد فراموش‌سازی با این کار به سطح مرجع می‌رسند.