مدل‌ها حتی با برچسب‌های درست هم ممکن است به فراداده تکیه کنند

پژوهشی تازه در arXiv نشان می‌دهد برچسب‌های آموزشیِ درست به‌تنهایی مانع وابستگی مدل به فراداده نمی‌شوند. پژوهشگران مدل‌های متن‌باز ۷ تا ۹ میلیاردپارامتری از سه خانواده را با پرسش‌های چندگزینه‌ای آموزش دادند؛ در داده‌های آموزشی، نشانه‌ای مانند «Reward: 5» همواره کنار گزینهٔ درست قرار داشت.

وقتی در مرحلهٔ آزمون همان نشانه را کنار گزینه‌ای غلط گذاشتند، مدل‌ها در ۹۷ تا ۱۰۰ درصد پرسش‌های CommonsenseQA آن گزینه را انتخاب کردند. اما با حذف نشانه، بیشتر پاسخ‌ها همچنان درست بود؛ بنابراین ارزیابی معمول، که این فراداده را در اختیار مدل نمی‌گذارد، ممکن است وابستگی پنهان به آن را آشکار نکند.

پیروی از نشانه با افزایش میزان قابل‌اعتمادبودن آن در زمان آموزش به‌شدت بیشتر شد و حتی با واژه‌های خنثی یا بی‌معنا هم شکل گرفت. در عین حال، پژوهشگران می‌گویند عبارت‌بندی نشانه در زمان آزمون بر شدت این اثر تأثیر می‌گذارد. چکیدهٔ در دسترس به آزمایشی با Qwen3 نیز اشاره می‌کند، اما جزئیات آن در متن ارائه‌شده نیامده است.