هوش مصنوعی
FedPA-LoRA برای کاهش خطاهای تجمیع در آموزش فدرال مدل‌های زبانی پیشنهاد شد
پیش‌چاپی در arXiv چارچوبی معرفی می‌کند که می‌کوشد در تنظیم دقیق فدرال با LoRA، هم خطای تجمیع و هم ناهماهنگی در مقداردهی اولیهٔ عوامل را کاهش دهد.
پژوهشگران در پیش‌چاپی با عنوان FedPA-LoRA به مسئله‌ای در تنظیم دقیق فدرال مدل‌های زبانی بزرگ با روش LoRA پرداخته‌اند: تجمیع جداگانهٔ عوامل LoRA پیوستگی آن‌ها را در بهینه‌سازی محلی بهتر حفظ می‌کند، اما می‌تواند میان تجمیع و حاصل‌ضرب عوامل ناهماهنگی ایجاد کند. بازسازی در فضای حاصل‌ضرب این ناهماهنگی را کاهش می‌دهد، ولی ممکن است عوامل در مرحلهٔ مقداردهی اولیه با هم ناسازگار شوند.
FedPA-LoRA برای پرداختن به هر دو مشکل طراحی شده است. در این چارچوب، کلاینت‌ها عوامل محلی خود را بین دورهای آموزش حفظ می‌کنند تا ناهماهنگی مقداردهی اولیه از میان برود و حاصل‌ضرب عواملشان را با مرجع‌های سراسری متناسب با رتبه هم‌تراز می‌کنند تا انحراف کلاینت‌ها کاهش یابد. مقاله همچنین از کران‌های همگرایی برای حالت‌های دارای رتبه‌های یکسان و متفاوت خبر می‌دهد. اطلاعات موجود در چکیده، جزئیات ارزیابی تجربی یا میزان بهبود این روش را مشخص نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده