FedReason از مدل زبانی برای انتخاب روش تجمیع در یادگیری فدرال استفاده می‌کند

پژوهشگران در پیش‌چاپی با نام FedReason روشی برای واگذاری انتخاب قاعدهٔ تجمیع در یادگیری فدرال به یک مدل زبانی بزرگ پیشنهاد کرده‌اند. در روش‌های معمول، سرور از قاعده‌ای ثابت استفاده می‌کند؛ اما FedReason هر ۱۰ دور، وزن‌های مدل‌های کلاینت را در یک محیط محدود سمت سرور بررسی می‌کند و برنامه‌ای کوتاه به زبان Python برای تجمیع می‌فرستد. مدل زبانی فقط نتیجه‌های چاپ‌شدهٔ اجرای کد را می‌بیند و می‌تواند چند گزینه را روی مجموعه‌ای کمکی شامل ۵۰۰ تصویر ارزیابی کند. اگر خروجی نامعتبر باشد، سرور به FedAvg برمی‌گردد. وزن‌های کامل مدل از سرور خارج نمی‌شوند.

پژوهشگران FedReason را با Claude Opus 5.5 روی CIFAR-10 و CIFAR-100، با ResNet-18 و در شرایطی شامل ناهمگونی برچسب‌ها، مدل‌های زیرمدل با عرض متفاوت و کلاینت‌های مخرب، در ۱۶۸ اجرا و در مقایسه با ۱۴ روش پایه سنجیدند. در ۱۲ اجرای جفت‌شده با ناهمگونی برچسب، FedReason به‌طور میانگین ۱٫۲۶ واحد درصد از FedAvg بهتر بود و در ۱۰ اجرا برنده شد. همچنین در مقایسه با روشی که بودجهٔ ارزیابی کمکی مشابهی را صرف انتخاب میان قواعد متداول می‌کرد، ۱٫۰۸ واحد درصد بهبود ثبت کرد.

با این حال، FedReason از SCAFFOLD بهتر نشد؛ این روش برخلاف FedReason، آموزش کلاینت‌ها را نیز تغییر می‌دهد. در CIFAR-100، FedReason قوی‌ترین قاعدهٔ سمت سرور بود. در آزمایشی با سه کلاینت مخرب از مجموع ۱۰ کلاینت، روش در دور نخست همهٔ کلاینت‌های وارون‌کنندهٔ علامت را کنار گذاشت و بدون آموزش یک مدل ریشه، حدود یک واحد درصد از FLTrust ضعیف‌تر عمل کرد. حذف بازخورد مجموعهٔ کمکی نیز در یک بذر آزمایشی، دقت را از ۷۳٫۸ به ۳۸٫۸ درصد کاهش داد. هزینهٔ API برای اجرای ۶۰ دور، به‌طور میانگین ۰٫۷۹ دلار گزارش شده است.