ناهمخوانی میان گفتار و لحن، تشخیص احساس را برای مدل‌های صوتی دشوارتر می‌کند

پژوهشگران در پیش‌چاپی تازه بررسی کرده‌اند که آیا ناهماهنگی میان «آنچه گفته می‌شود» و «چگونگی گفتن آن» بر تشخیص احساس در مدل‌های زبانی بزرگِ صوت‌محور اثر می‌گذارد یا نه. آن‌ها متن و صوت را در فضایی مشترک از سه بُعدِ خوشایندی، برانگیختگی و سلطه نگاشتند و فاصلهٔ میان دو کانال را به امتیازی پیوسته برای سنجش ناهمخوانی تبدیل کردند؛ امتیازی که با قضاوت انسان‌ها اعتبارسنجی شد.

در ارزیابی سه مدلِ قادر به پردازش صوت روی مجموعه‌داده‌های eNTERFACE'05، MELD و CMU-MOSEI ــ شامل گفتار نمایشی، مکالمه‌ای و خودانگیخته ــ افزایش ناهمخوانی با بالا رفتن احتمال خطا همراه بود. این ارتباط در هر سه مجموعه‌داده و با ثابت نگه‌داشتن مدل در میان شیوه‌های ورودی، پس از کنترل احساس واقعیِ برچسب‌خورده نیز مشاهده شد. خلاصهٔ منتشرشده جزئیات بیشتری دربارهٔ اندازهٔ این اثر ارائه نمی‌کند.