پژوهش: حالت‌های میانی مدل‌های زبانی می‌توانند توهم را با دقت بالا آشکار کنند

پژوهش تازه‌ای در arXiv بررسی کرده است که آیا می‌توان از حالت‌های پنهان مدل‌های زبانی، نشانه‌ای خطی برای تشخیص پاسخ‌های نادرست استخراج کرد و این نشانه در کدام عمق شبکه قوی‌تر است. آزمایش‌ها روی سه مدل instruction-tuned شامل Llama-3.1-8B، Mistral-7B و Qwen2.5-7B انجام شده که همگی با کوانتیزه‌سازی ۴بیتی NF4 بارگذاری شده‌اند.

پژوهشگران حالت‌های پنهان لایه‌های مختلف را در چهار مجموعه‌دادهٔ تشخیص توهم، از جمله TruthfulQA، HaluEval-QA و FEVER، بررسی کردند و چند روش را با هم سنجیدند. کاوشگر خطیِ آموزش‌دیده روی یک لایهٔ میانی، در بخش‌های آزمونِ کنارگذاشته‌شده، AUROC برابر با ۰٫۹۰۴ تا ۱ به دست آورد. کاوشگرهای MLP به‌ندرت بیش از ۰٫۰۱ واحد از عملکرد روش خطی بهتر بودند؛ نتیجه‌ای که نویسندگان آن را نشانه‌ای از تقریباً خطی‌بودن سیگنال صداقت می‌دانند.

لایه‌های برتر در بنچمارک‌های زبان طبیعی در بازه‌ای نسبتاً منسجم قرار داشتند: بلوک‌های ۱۳ تا ۱۸ از ۳۲ بلوک در Llama و Mistral، و بلوک‌های ۱۹ تا ۲۵ از ۲۸ بلوک در Qwen. در مقابل، روش‌های نمونه‌گیری در همین پروتکل از AUROC برابر با ۰٫۵۴۱ بالاتر نرفتند. نویسندگان هشدار می‌دهند که این عملکرد ضعیف لزوماً محدودیت ذاتی آن روش‌ها نیست و ممکن است از ناسازگاری میان ارزیابی مبتنی بر برچسب‌های جفت‌شده و نوع اطلاعاتی ناشی شود که روش‌های نمونه‌گیری به آن دسترسی دارند.

همچنین، آنتروپی توجه در نخستین بلوک، در ارزیابی‌های مبتنی بر دانش، سیگنالی مکمل ارائه کرد و در HaluEval-QA به AUROC بین ۰٫۸۶۶ و ۰٫۹۴۱ رسید؛ بدون آنکه هزینهٔ استنتاج بیشتری داشته باشد. مقاله می‌گوید کد و داده‌ها برای بازتولیدپذیری منتشر شده‌اند و اجرای آزمایش‌ها روی یک GPU با ۸ گیگابایت حافظه ممکن است.