هوش مصنوعی

روش QSGS برای انتخاب داده‌های متنوع‌تر در آموزش هدفمند مدل‌های زبانی

پیش‌چاپی در arXiv مسئلهٔ انتخاب نمونه‌های آموزشی را با توجه به هم‌پوشانی میان آن‌ها بررسی می‌کند؛ چکیدهٔ در دسترس، معرفی روش پیشنهادی را آغاز می‌کند، اما جزئیات و نتایج آن را نشان نمی‌دهد.

۱ دقیقه مطالعه
Figure 1: Losses dataset compression with QSGS framework. On all three benchmarks, our method achieves full set performance with using only 0.5% of the data. The data keep ratio of ours is 90% less than the SOTA method (
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

عملکرد مدل‌های زبانی که برای وظایف تخصصی تنظیم دقیق می‌شوند، به انتخاب نمونه‌های آموزشی وابستگی فزاینده‌ای دارد؛ نه صرفاً به تعداد نمونه‌ها. در یک مجموعهٔ آموزشی بزرگ و ناهمگون، هدف انتخاب دادهٔ هدفمند این است که با اتکا به مجموعه‌ای کوچک از نمونه‌های هدفِ مشخص‌کنندهٔ توانایی مطلوب، زیرمجموعه‌ای کم‌حجم برای بهبود عملکرد نهایی پیدا کند.

نویسندگان می‌گویند روش‌های رایج، هر نمونه را جداگانه در برابر هدف امتیازدهی و سپس نمونه‌های برتر را انتخاب می‌کنند. به گفتهٔ چکیده، این روش در بودجه‌های محدود به نادیده‌گرفتن تعامل میان نمونه‌ها می‌انجامد و ممکن است مجموعهٔ منتخب را از نمونه‌های بسیار مشابه و دارای اطلاعات هم‌پوشان پر کند.

پژوهشگران روش «توابع زیرمدولار مبتنی بر پرس‌وجو با سنتز هدایت‌شده با گرادیان» (QSGS) را پیشنهاد می‌کنند. چکیدهٔ ارائه‌شده در منبع پیش از شرح سازوکار روش یا گزارش ارزیابی آن پایان می‌یابد؛ بنابراین اطلاعاتی دربارهٔ عملکرد تجربی QSGS در دسترس نیست.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست