پژوهشگران Omni-Encoder را معرفی کردند؛ یک مدل مشترک برای تصویر، ویدئو و صدا

پژوهشگران در پیش‌چاپی در arXiv، Omni-Encoder را معرفی کرده‌اند؛ رمزگذار چندوجهی‌ای که تصویر، ویدئو، صدا و ورودی‌های صوتی‌ـ‌تصویری را در یک Vision Transformer از نوع SigLIP-2 پردازش می‌کند. برخلاف روش‌هایی که مدل‌های هر رسانه را جداگانه آموزش می‌دهند و بعداً آن‌ها را به یک فضای مشترک وصل می‌کنند، Omni-Encoder همهٔ ورودی‌ها را به‌صورت مشترک و سرتاسری آموزش می‌دهد و پارامترهایش میان چهار نوع ورودی مشترک است.

در این روش، هر نوع داده ابتدا به فضای تعبیهٔ مشترک نگاشت می‌شود. برای صدا، یک توکن‌ساز کانولوشنی یک‌بعدی طیف‌نگاره‌های mel را به توکن‌هایی تبدیل می‌کند که با وصله‌های تصویری هم‌ترازند. همچنین، تعبیهٔ موقعیتی چرخشی چندوجهی با استفاده از مُهرهای زمانی، جایگاه فریم‌های ویدئویی و بخش‌های صوتی را در یک دستگاه مختصات مشترکِ فضاـ‌زمان مشخص می‌کند.

آموزش با درهم‌آمیختن دسته‌های تصویر، ویدئو، صدا و داده‌های صوتی‌ـ‌تصویریِ هم‌تراز انجام می‌شود؛ گرادیان این دسته‌ها در یک به‌روزرسانی جمع می‌شود. نویسندگان این شیوه را برای بهینه‌سازی پایدار مدل مشترک مهم می‌دانند. بنا بر چکیدهٔ مقاله، Omni-Encoder با یک مجموعه پارامتر در ۱۶ بنچمارکِ مربوط به هر چهار نوع ورودی نتایجی رقابتی کسب کرده و آموزش مشترک عملکرد هر رسانه را نسبت به نسخهٔ آموزش‌دیدهٔ جداگانهٔ آن بهبود داده است. مقاله اعلام می‌کند کد و مدل‌ها بعداً به‌صورت عمومی منتشر خواهند شد.