هوش مصنوعی
مدلی با کمک صدای دوجهته، منبع صدا را میان اشیای مشابه در تصویر تشخیص می‌دهد
پژوهشگران BiSID-AVS را معرفی کرده‌اند؛ روشی که از تفاوت صدای دریافتی در دو گوش برای یافتن شیء واقعاً صدا‌دهنده استفاده می‌کند. در دو مجموعه‌داده، مدل در زیرمجموعه‌های چندنامزدی امتیاز mIoU را بیش از ۳۵ و ۴۱ واحد درصد بهبود داد.
روش‌های بخش‌بندی صوتی‌ـ‌بصری معمولاً ناحیه‌های مرتبط با صدا یا ماسک‌های دسته‌ای را مشخص می‌کنند، اما وقتی چند شیء هم‌دسته در تصویر حضور دارند، ممکن است نتوانند تعیین کنند کدام‌یک صدا تولید می‌کند. روش‌های بخش‌بندی نمونه‌ای نیز اغلب به حرکت و پیوند دادن اشیا در فریم‌های متوالی متکی‌اند؛ اتکایی که با مشاهده‌های پراکنده یا حرکت نامحسوس می‌تواند مشکل‌ساز شود.
پژوهش معرفی‌شده در پیش‌چاپ arXiv، با نام BiSID-AVS، از صدای دوجهته بهره می‌گیرد: تفاوت سیگنال دریافتی در دو گوش اطلاعاتی درباره جهت منبع صدا فراهم می‌کند و به محدودکردن گزینه‌ها در فضای تصویر کمک می‌کند. مدل ابتدا با راهنمایی صوتی ناحیه‌های تصویری هم‌خوان با دستهٔ موردنظر را پیدا می‌کند، سپس نشانه‌های دوجهته را به نقشه‌ای مکانی روی تصویر تبدیل می‌کند و در پایان، با شرط‌دهی مکانی در سطح ویژگی‌ها و رمزگشا، ماسک نمونهٔ واقعاً صدا‌دهنده را پالایش می‌کند.
در آزمایش‌ها روی نسخهٔ توسعه‌یافتهٔ دوجهتهٔ مجموعه‌دادهٔ AVS-Synthetic و مجموعه‌دادهٔ Habitat-AVS برای ادراک رباتیک در فضای داخلی، BiSID-AVS در زیرمجموعه‌هایی که چند نامزد هم‌دسته دارند بهترین عملکرد را گزارش کرد. بهبود mIoU در سطح نمونه به‌ترتیب ۳۵٫۱۹ و ۴۱٫۲۱ واحد درصد بود؛ پژوهشگران همچنین کاهش قابل‌توجه فعال‌شدن نادرست ناحیه‌های هم‌دسته‌ای را گزارش کرده‌اند که صدا تولید نمی‌کنند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده