پژوهش تازه: LoRA ممکن است نشت اطلاعات در ریزتنظیم مدل‌های زبانی را کاهش دهد

حفظ داده در مدل‌های زبانی بزرگ می‌تواند آن‌ها را در برابر حمله‌های استخراج داده آسیب‌پذیر کند. پژوهشی تازه در arXiv این مسئله را در مرحلهٔ ریزتنظیم بررسی کرده و بر روش LoRA متمرکز شده است؛ روشی پرکاربرد برای ریزتنظیم کم‌پارامتر.

به‌گفتهٔ نویسندگان، عواملی مانند اندازهٔ مدل و تکرار داده که در پیش‌آموزش و ریزتنظیم کامل بر حفظ داده اثر می‌گذارند، در ریزتنظیم با LoRA همان روند را نشان نمی‌دهند. پژوهش با استفاده از سنجه‌ای منعطف‌تر که بر شباهت تکیه دارد، کاهش چشمگیر خطر حفظ داده با LoRA را گزارش می‌کند. متن در دسترس چکیدهٔ مقاله را ارائه می‌دهد و جزئیات روش و اندازهٔ این کاهش را مشخص نمی‌کند.