معیار VIPBench می‌سنجد صدای شبیه‌سازی‌شده از نگاه انسان چقدر به صاحب صدا شباهت دارد

معیارهای معمول تشخیص گوینده بررسی می‌کنند مدل‌ها تا چه اندازه می‌توانند هویت گوینده را از روی برچسب‌های ثبت‌شده بازیابی کنند؛ اما لزوماً نشان نمی‌دهند انسان‌ها دو صدا را متعلق به یک نفر می‌دانند یا نه. پژوهشگران در پیش‌چاپی در arXiv، معیار VIPBench را برای سنجش همین برداشت انسانی معرفی کرده‌اند؛ موضوعی که به گفتهٔ آن‌ها با مالکیت فکری، امنیت سایبری و زندگی روزمره ارتباط دارد.

VIPBench شامل ۱۲۴٬۸۷۶ قضاوت «یکسان یا متفاوت» از ۱٬۲۹۰ شنونده دربارهٔ ۹٬۸۰۰ جفت صدای ۱۰۰ چهرهٔ سرشناس است. جفت‌ها از ضبط‌های واقعی، صداهای شبیه‌سازی‌شده با سامانهٔ تبدیل متن به گفتار و صداهای ترکیبیِ حاصل از آمیختن صدای دو گوینده تشکیل شده‌اند.

پژوهشگران چهار وظیفه برای مقایسهٔ مدل‌های بازنمایی گوینده با برداشت شنوندگان تعریف کردند؛ از جمله سنجش اینکه امتیاز شباهت مدل تا چه حد پاسخ شنوندگان را پیش‌بینی می‌کند و آیا مدل و انسان‌ها جفت‌های مشابهی را نزدیک به هم می‌دانند. آن‌ها ۱۱ مدل گفتارِ در دسترس عموم را ارزیابی کردند.

اختلاف میان برچسب گوینده و برداشت انسان بیشتر دربارهٔ صداهای شبیه‌سازی‌شده دیده شد: در ۴۱ درصد پاسخ‌ها، شنوندگان صدای شبیه‌سازی‌شده را با وجود تعلق به همان گوینده، متعلق به فردی دیگر دانستند. هیچ‌یک از مدل‌ها به سقف عملکردِ محدود به نویز نرسید و بهترین مدل ۶۱ درصد از واریانسِ قابل توضیح را پوشش داد. مدل‌های آموزش‌دیده با برچسب گوینده از مدل‌های خودنظارتی با قضاوت شنوندگان هم‌راستاتر بودند؛ بااین‌حال، مدلی با نرخ خطای ۱۲ درصد در تشخیص برچسب گوینده، به‌اندازهٔ مدل‌هایی با نرخ خطای کمتر از ۲ درصد با قضاوت انسان‌ها هم‌خوانی داشت.

نویسندگان می‌گویند این نتایج ضرورت آموزش مدل‌های تشخیص گوینده بر پایهٔ قضاوت شنوندگان را مطرح می‌کند. مقاله برای ارائهٔ پوستری در بخش «ارزیابی‌ها و مجموعه‌داده‌ها»ی NeurIPS 2026 پذیرفته شده است.