پژوهش
پژوهش: سنجه‌های تطبیق با منبع، تحریف واقعیت در بازگویی داستانی را به‌درستی نمی‌سنجند
پژوهشگران سه خانوادهٔ مدل زبانی را روی ۲هزار مقالهٔ خبری آزمودند و دریافتند معیارهای رایج ممکن است هم تغییرهای عمدی را خطا بشمارند و هم تحریف‌های واقعی را نادیده بگیرند.
در پیش‌چاپی در arXiv، پژوهشگران می‌گویند سنجش خروجی مدل‌های زبانی بر پایهٔ میزان تطبیق با متن منبع برای بازسازی رویدادها کافی نیست؛ چون در بازگویی داستانی، فاصله‌گرفتن از متن اصلی گاهی هدف کار است. به‌گفتهٔ نویسندگان، استفاده از این معیار ممکن است تغییرهای عمدی را خطا محسوب کند، اما کنارگذاشتن آن نیز راه را برای عبور تحریف‌های واقعی باز می‌گذارد.
پژوهشگران از سه خانوادهٔ مدل خواستند ۲هزار مقالهٔ خبری را در قالب خلاصه و داستان بازنویسی کنند. آن‌ها تغییرات را در محورهای پنج پرسش اصلیِ خبر بررسی کردند و سپس سنجیدند که آیا دیدگاهِ به‌کاررفته در بازنویسی، هر تغییر شناسایی‌شده را توجیه می‌کند یا نه؛ این بررسی یک‌سوم تغییرها را از شمار تحریف‌ها کنار گذاشت. چکیدهٔ منتشرشده می‌گوید زمان و شیوهٔ رخدادها حذف نشدند، بلکه جایگزین شدند؛ اما جملهٔ پایانی دربارهٔ مکان و علیت در متن منبع ناقص است و جزئیات بیشتری ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده