هوش مصنوعی

مقاله‌ای در arXiv خواستار آموزش پساتکمیلی توزیع‌شده برای مدل‌های زبانی شد

نویسندگان می‌گویند روش‌هایی مانند RLHF و DPO به‌طور ضمنی بر متمرکز بودن داده‌های ترجیحی تکیه دارند؛ فرضی که در حوزه‌هایی چون سلامت، حقوق و جوامع چندزبانه ممکن است عملی یا پذیرفتنی نباشد.

۲ دقیقه مطالعه
Fig. 1: Two distributed post-training paradigms. (a) Federated DPO : clients send local model updates (optionally privatized via differential privacy) Δ ​ θ i \Delta\theta_{i} to a trusted aggregation server, which broad
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

یک مقالهٔ دیدگاهی در arXiv استدلال می‌کند یادگیری فدرال و غیرمتمرکز باید به رویکردهای اصلی آموزش پساتکمیلی مدل‌های زبانی بزرگ تبدیل شوند، نه صرفاً ابزارهایی برای حفظ حریم خصوصی. نویسندگان می‌گویند روش‌هایی مانند RLHF و DPO بر این فرض نانوشته استوارند که داده‌های ترجیحی را می‌توان در یک نقطه متمرکز کرد؛ فرضی که از نظر علمی توجیه‌نشده و از نظر عملی و اخلاقی مسئله‌ساز است.

به‌گفتهٔ مقاله، با گسترش کاربرد مدل‌های زبانی در سلامت، حقوق، مالی و جوامع چندزبانه، بخشی از داده‌های ترجیحی از گروه‌هایی می‌آید که نمی‌توانند یا نمی‌خواهند آن را متمرکز کنند. نویسندگان استدلال خود را بر سه محور بنا می‌کنند: حریم خصوصی و حاکمیت داده، تکثر و برابری در بازنمایی، و پایداری و مقیاس‌پذیری.

مقاله همچنین به چالش‌های فنی ویژهٔ این حوزه می‌پردازد: رانش مرجع، ناهمگونی ترجیحات و بده‌بستان میان حریم خصوصی تفاضلی و کارایی در زیان‌های تقابلی. نویسندگان مسیرهای الگوریتمی و دستورکار پژوهشی پیشنهاد می‌کنند و نتیجه می‌گیرند که آموزش پساتکمیلی توزیع‌شده شدنی است؛ نادیده گرفتن آن نیز ممکن است به سامانه‌هایی بینجامد که با الزامات قانونی سازگار نیستند، بازنمایی محدودی دارند یا در مقیاس بزرگ شکننده‌اند.

این مقالهٔ ۱۰صفحه‌ای با چهار شکل برای کنفرانس IEEE BigData 2026 ارائه شده است و در arXiv به‌صورت پیش‌چاپ منتشر شده؛ بنابراین یافته‌های آن در قالب یک مقالهٔ دیدگاهی و پیشنهاد پژوهشی مطرح‌اند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست