CAST-Bench ارزیابی صدا در ویدئوهای چندنما را به تفکیک منبع ممکن می‌کند

پژوهشگران در پیش‌چاپی در arXiv، CAST-Bench را برای ارزیابی تولید هم‌زمان متن، صدا و ویدئو معرفی کرده‌اند؛ معیاری که به‌جای سنجش کلی کیفیت و هماهنگی صوت‌وتصویر، هر صدای درخواستی را به منبع موردنظرش پیوند می‌دهد. در این چارچوب، هر صدا باید از منبع درست بیاید، با کنش متناظر در تصویر هم‌زمان باشد و محتوای معنایی مناسبی داشته باشد.

این مجموعه ۹۰۰ پرامپت را در ۹ دستهٔ منبع صوتی جای می‌دهد؛ از گفتار و حیوانات تا سازها و صداهای محیطی. ۴۳۹ پرامپت تک‌نما و ۴۶۱ پرامپت چندنما هستند و در مشخصات ساختاریافتهٔ هرکدام، رویداد صوتی به تولیدکننده، سوژه و جایگاه زمانی آن مرتبط شده است. CAST-Bench همچنین ۱۸ سنجه در سه حوزهٔ عملکرد بصری، سازگاری محتوا و هم‌ترازی صوتی و معنایی ارائه می‌کند.

ارزیابی ۱۲ مولد نشان می‌دهد کیفیت بصری در سیستم‌های پیشرو تقریباً به سطح اشباع رسیده، اما امتیازهای معنایی صدا همچنان تفاوت محسوسی دارند. در مقایسهٔ ۹ مدل مشترک، پرامپت‌های چندنما طبق قواعد امتیازدهی ویژهٔ همان زیرمجموعه امتیاز کلی پایین‌تری گرفته‌اند و رتبه‌بندی مدل‌ها نیز تغییر کرده است. گفت‌وگوی چندنفره، حفظ هویت گوینده میان نماها و باقی‌ماندن رویدادهای صوتی در گذار بین نماها از چالش‌های حل‌نشدهٔ اصلی‌اند. مقاله می‌گوید پرامپت‌ها و کد ارزیابی در دسترس‌اند.