هوش مصنوعی
روش P²-MOPD ترکیب مهارت چند مدل را با آموزش هم‌زمان دانشجو دنبال می‌کند
پیش‌چاپی در arXiv روشی معرفی می‌کند که ضرایب ترکیب پارامترها و وزن‌های مدل دانشجو را هم‌زمان بهینه می‌کند؛ جزئیات نتایج آزمایش در چکیدهٔ موجود ناقص است.
در تقطیر چندمعلمیِ on-policy، مدل دانشجو با استفاده از مسیرهایی که خودش تولید می‌کند از چند مدل متخصص یاد می‌گیرد. پژوهشگران در پیش‌چاپ P²-MOPD این رویکرد را با ایدهٔ ترکیب خطی پارامترهای مدل‌ها پیوند داده‌اند: روش پیشنهادی ضرایب اختلاط پارامترهای دانشجو و متخصصان را، هم‌زمان با وزن‌های خود دانشجو، زیر همان هدف تقطیر بهینه می‌کند.
برخلاف «حساب برداری وظایف» (task arithmetic)، که با ثابت نگه‌داشتن پارامترهای دانشجو و متخصص، مدل ترکیبی را به فضای خطیِ گسترده‌شده از این پارامترها محدود می‌کند، در P²-MOPD دانشجو همچنان قابل‌آموزش است. بنابراین پارامترهای متخصصان نقش پیشین‌های پارامتری را دارند، نه مرزی که مدل نتواند از آن فراتر برود.
چکیده می‌گوید روش در چهار حوزه و برای مدل‌هایی با مقیاس ۱٫۷ و ۴ میلیارد پارامتر ارزیابی شده است، اما متن ارائه‌شده پیش از بیان نتیجهٔ آزمایش‌ها قطع می‌شود؛ بنابراین نمی‌توان از آن دربارهٔ میزان بهبود عملکرد نتیجه‌گیری کرد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده