FOCUS برای فهم ویدئو، اجرای مدل بینایی‌ـ‌زبانی را به تغییرهای مهم صحنه محدود می‌کند

پردازش تک‌تک فریم‌های ویدئو با مدل‌های بینایی‌ـ‌زبانی (VLM) هزینهٔ استنتاج را بالا می‌برد و فهم بلادرنگ ویدئو را دشوار می‌کند. روش‌های موجود یا فریم‌ها را با فاصله‌های ثابت برمی‌گزینند و ممکن است رویدادهای مهم را از دست بدهند، یا در هر بار فراخوانی مدل تعداد توکن‌های تصویری را کاهش می‌دهند، بی‌آنکه از اجرای مدل برای هر فریم نمونه‌برداری‌شده بکاهند.

پژوهشگران FOCUS را معرفی کرده‌اند؛ چارچوبی سه‌لایه و بدون نیاز به آموزش که به‌گفتهٔ چکیده، هم تعداد فراخوانی‌های مدل را کاهش می‌دهد و هم آن‌ها را به محتوای مهم‌تر هدایت می‌کند. لایهٔ زمان‌بندی، تفاوت میان فریم‌ها را در فضای patch embedding یک VLM کوچک‌تر از همان خانواده می‌سنجد و فقط هنگام تغییر معنادار صحنه، تصویربرداریِ پیاپی را فعال می‌کند. متن چکیدهٔ ارائه‌شده پیش از توضیح کامل لایه‌های دیگر قطع می‌شود؛ بنابراین جزئیات آن‌ها در دسترس نیست.