هوش مصنوعی
پژوهشگران روشی برای سنجش دانش پنهان در مدل‌های زبانی پیشنهاد کردند
چارچوبی مبتنی بر هندسهٔ حالت‌های پنهان مدل می‌کوشد دانش واقعی را از ناآگاهی و دانشی که مدل از بیان آن خودداری می‌کند، تشخیص دهد.
پژوهشی منتشرشده در arXiv روشی برای بررسی این پرسش پیشنهاد می‌کند که آیا مدل زبانی واقعاً مفهومی را می‌داند یا فقط از پاسخ‌دادن به آن خودداری می‌کند. نویسندگان می‌گویند معیارهای رفتاری ممکن است گمراه‌کننده باشند، چون مدلِ امتناع‌کننده همچنان می‌تواند دانشی بازیابی‌پذیر داشته باشد.
این چارچوب، تفاوت میان حالت‌های پنهان مدل در پاسخ به پرسشی دربارهٔ یک مفهوم و بازنویسی ناشناس همان پرسش را اندازه می‌گیرد؛ پژوهشگران به این تفاوت‌ها «anon-vectors» می‌گویند. به‌گزارش مقاله، دانش واقعی با خوشه‌ای فشرده و کم‌آنتروپی همراه است، درحالی‌که ناآگاهی به پراکندگی هندسی می‌انجامد.
نویسندگان روش را روی ۱۰ مدل instruction-tuned از سه خانوادهٔ مدل آزمایش کرده‌اند و می‌گویند معیارهای پراکندگی در همهٔ آن‌ها مفاهیم شناخته‌شده را از ناشناخته جدا کرده‌اند. همچنین پس از unlearning، هندسهٔ پراکندگی با بازیابی خصمانهٔ دانش در چهار نوع حمله همبستگی داشته است. چکیدهٔ در دسترس دربارهٔ جزئیات این حمله‌ها یا میزان دقت روش اطلاعاتی نمی‌دهد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده