آموزش متنی برای مکان‌یابی رویدادها در ویدئو؛ انتقال بهتر با تطبیق نمایش فریم‌ها

پژوهشی تازه در arXiv بررسی می‌کند آیا می‌توان یک مدل زبانی را فقط با توضیحات متنیِ توالی‌های ویدئویی آموزش داد و سپس هنگام اجرا از آن برای تعیین زمان وقوع رویدادها در ویدئو کمک گرفت. این رویکرد، نیاز به داده‌های آموزشی جفت‌شدهٔ متن و ویدئو را کنار می‌گذارد؛ گردآوری ویدئوهای بزرگ‌مقیاس و حاشیه‌نویسی زمانی دقیق برای آن‌ها پرهزینه است.

پژوهشگران مجموعه‌ای شامل ۱۳۴ هزار نمونهٔ متنی با حداکثر ۱۰۰ گام زمانی ساختند و مدل Qwen3-8B را با روش LoRA و بر پایهٔ embeddingهای متنی CLIP یا LLM2CLIP تطبیق دادند. ارزیابی روی مجموعه‌های Charades-STA و QV-Highlights انجام شد و مدل در هیچ‌یک از این دو مجموعه با ویدئو آموزش ندیده بود.

در آزمایش‌ها، LLM2CLIP که رمزگذار متنی آن ورودی‌های طولانی‌تری را پشتیبانی می‌کند، توصیف‌های جزئی را بهتر از CLIP بازنمایی کرد: امتیاز mtIoU آن در Temporal-TextVid برابر با ۶۱٫۵۴ بود، در برابر ۵۳٫۸۶ برای CLIP. بااین‌حال، جایگزین‌کردن متن با embeddingهای فریم ویدئو هنگام اجرا، امتیاز را به ۴٫۹۹ در Charades-STA و ۱۱٫۱۲ در QV-Highlights رساند؛ نشانه‌ای از فاصلهٔ زیاد میان دو نوع ورودی.

برای کاهش این فاصله، مقاله روشی بدون آموزش دوباره به نام Nearest Entity Replacement یا NER پیشنهاد می‌کند. این روش هر فریم را با میانگین نرمال‌شدهٔ embeddingهای متنیِ نزدیک‌ترین موجودیت‌ها بازنمایی می‌کند تا ورودی ویدئویی به شکلی به مدل برسد که به ورودی‌های زمان آموزش نزدیک‌تر باشد. NER امتیاز mtIoU را در Charades-STA به ۱۴٫۴۵ و در QV-Highlights به ۲۰٫۷۲ رساند؛ به‌ترتیب ۵ و ۱٫۷۱ واحد بیشتر از بهترین روش در میان چهار خانوادهٔ مبنای مقایسه‌شده.

نتایج نشان می‌دهد انتقال از آموزش متنی به ویدئو تا حدی ممکن است، اما عملکرد هنوز محدود است. نویسندگان می‌گویند برای مکان‌یابی قابل‌اتکاتر، احتمالاً به رمزگذارهایی با هم‌ترازی بهتر میان بازنمایی‌های متنی و تصویری نیاز خواهد بود.