ادغام مدل‌ها الزاماً به رتبهٔ LoRA یکسان برای همهٔ متخصص‌ها نیاز ندارد

پژوهشگران در پیش‌چاپی تازه بررسی کرده‌اند که آیا متخصص‌هایی که جداگانه برای حوزه‌های مختلف تنظیم شده‌اند، هنگام ادغام باید رتبهٔ LoRA یکسانی داشته باشند یا نه. آن‌ها ۳۶ متخصص را برای ریاضیات، پیروی از دستور و چندزبانگی، در چهار رتبه و سه مقیاس مدل آموزش دادند و شش روش ادغام را با رتبه‌های یکسان و با رتبهٔ بهینهٔ هر حوزه آزمودند.

نتیجه به روش ادغام وابسته بود. در روش‌های میانگین‌گیری و انتخاب مبتنی بر مطلوبیت، استفاده از رتبه‌های متفاوت برای متخصص‌ها هزینه‌ای نداشت و دقت چنددامنه‌ای را تا ۱٫۸ واحد درصد بالا برد. در مقابل، روش‌های رفع تعارض نتایج یکدستی نداشتند و در برخی موارد دقت را تا ۴ واحد درصد کاهش دادند.

به‌گفتهٔ پژوهشگران، علت تفاوت این است که برخی روش‌ها فقط سهم ثابتی از مؤلفه‌های طیفیِ ادغام‌شده را نگه می‌دارند و انتخاب بر پایهٔ اندازه، مؤلفه‌هایی را که می‌توانند خطا را کاهش دهند کنار می‌گذارد. این روش‌ها همچنین گرایش دارند آداپترِ مربوط به پیروی از دستور را حذف کنند؛ در آزمایش‌ها، افت IFEval در این حوزه به ۱۶ تا ۲۵ واحد درصد رسید. روش‌هایی که مؤلفه‌ها را بر اساس اثرشان بر خطا انتخاب می‌کنند، هر سه متخصص را حفظ کردند و دقت را در بازه‌ای هشت‌برابری از رتبه‌ها تقریباً ثابت نگه داشتند: تغییر ۰٫۷ واحد درصد، در برابر ۶٫۷ واحد درصد برای TIES در مقیاس ۴B.

بر پایهٔ این نتایج، رتبهٔ هر متخصص را می‌توان جداگانه تعیین کرد، به‌شرط آنکه عملگر ادغام انتخاب را بر اساس اندازهٔ مؤلفه‌ها انجام ندهد.