ترکیب دادهٔ انگلیسی با عربی در پیش‌آموزش، از جست‌وجوی ابرپارامترها مؤثرتر بود

پیش‌آموزش مدل‌های زبان برای بسیاری از زبان‌ها با کمبود داده روبه‌روست و تکرار چندبارهٔ همان داده‌ها می‌تواند تعمیم‌پذیری مدل را کاهش دهد. پژوهشگران در مطالعه‌ای با عنوان «ترکیب کن، تنظیم نکن» دو راهکار را مقایسه کرده‌اند: تنظیم تهاجمی ابرپارامترهایی مانند weight decay، و افزودن داده از زبانی پُرداده به آموزش زبان کم‌داده.

این مقایسه در حدود هزار اجرای پیش‌آموزش و روی چهار مقیاس مدل، از ۱۵۰ میلیون تا ۱٫۴۳ میلیارد پارامتر، انجام شده است. عربی زبان هدف کم‌داده و انگلیسی زبان کمکی بوده است. به‌گزارش پژوهشگران، ترکیب داده‌ها هم در معیار زیان اعتبارسنجی و هم در دقت وظایف پایین‌دستی بهبود بیشتری از تنظیم ابرپارامترها ایجاد کرده و فاصلهٔ دو روش با بزرگ‌ترشدن مدل افزایش یافته است.

برآورد پژوهش این است که ترکیب دادهٔ انگلیسی، در معیار زیان اعتبارسنجی معادل افزودن دو تا سه برابر دادهٔ یکتای زبان هدف و در دقت وظایف پایین‌دستی معادل دو تا ۱۳ برابر آن بهبود ایجاد می‌کند؛ این دستاورد نیز با اندازهٔ مدل افزایش می‌یابد. نویسندگان می‌گویند زیان اعتبارسنجی به‌تنهایی ارزش ترکیب داده را کمتر از واقع نشان می‌دهد: این روش علاوه‌بر منظم‌سازی مدل از راه متنوع‌کردن سیگنال آموزشی، دانشی می‌افزاید که تکرار پیکرهٔ زبان هدف فراهم نمی‌کند.

توصیهٔ عملی پژوهشگران، افزودن داده از یک زبان پُرداده، اولویت‌دادن به تعیین نسبت ترکیب داده‌ها به‌جای جست‌وجوی گستردهٔ ابرپارامترها، و انتقال ابرپارامترها از یک مدل کوچک‌تر با استفاده از μP است.