پژوهش

پژوهشگران چارچوبی برای تفکیک محل و نحوهٔ بروز نشانه‌های دادهٔ آموزشی در مدل‌های زبانی معرفی کردند

پیش‌چاپی در arXiv سه سنجه را برای بررسی جداگانهٔ اطلاعات عضویت در بازنمایی‌های درونی و دسترسی مدل به آن هنگام تولید خروجی پیشنهاد می‌کند.

۱ دقیقه مطالعه

استنباط عضویت می‌کوشد مشخص کند آیا نمونه‌ای مشخص در داده‌های آموزشی یک مدل حضور داشته است یا نه. پیش‌چاپی در arXiv می‌گوید این نشانه‌ها معمولاً ذیل مفهوم کلی «حافظه‌سپاری» بررسی می‌شوند، حال آن‌که سازوکارشان می‌تواند هم به نحوهٔ بازنمایی اطلاعات درون مدل و هم به چگونگی دسترسی مدل به آن برای تولید رفتارهایش مربوط باشد.

نویسندگان برای تحلیل این دو جنبه، مجموعه‌ای از سنجه‌های مکمل با نام DUG معرفی می‌کنند: Decodable Information Score، Used Information Score و Readout Accessibility Gap. هدف این سنجه‌ها، به‌ترتیب، سنجش اطلاعات عضویتِ قابل‌بازیابی از بازنمایی‌های درونی و بررسی میزان بروز آن از مسیر خروجی مدل است. چکیدهٔ در دسترس به بررسی این رویکرد در زمینهٔ تنظیم دقیق نظارت‌شده (SFT) اشاره می‌کند، اما جزئیات نتایج را ارائه نمی‌دهد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست