هوش مصنوعی

روش DTP-OPSD برای تشخیص زمان رویدادها در ویدئو با نمونه‌های گمراه‌کننده

پیش‌چاپی در arXiv چارچوبی مبتنی بر یادگیری تقویتی پیشنهاد می‌کند تا مشکل بی‌سیگنال‌ماندن آموزش در ویدئوهای دارای رویدادهای مشابه یا تکراری را کاهش دهد.

۱ دقیقه مطالعه
Figure 1: Top. Qwen3-VL-8B recognizes the relevant actions but selects an earlier occurrence from the clean video, resulting in zero tIoU. The privileged teacher view marks the target with red borders and the distractors
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

Temporal Video Grounding به مدلی گفته می‌شود که زمان شروع و پایان رویدادی را در ویدئو، بر پایهٔ یک پرس‌وجوی زبانی، مشخص می‌کند. این کار وقتی دشوارتر می‌شود که ویدئو چند رویداد تکراری، مشابه یا متضاد داشته باشد. به گفتهٔ نویسندگان پیش‌چاپ، در چنین نمونه‌هایی ممکن است همهٔ پاسخ‌های تولیدشده با روش Group Relative Policy Optimization (GRPO) هدف را از دست بدهند و امتیاز صفر در معیار هم‌پوشانی زمانی (tIoU) بگیرند؛ در نتیجه، مزیت‌های نسبی گروه همگی صفر می‌شوند و سیگنال مفیدی برای به‌روزرسانی سیاست باقی نمی‌ماند.

نویسندگان چارچوب DTP-OPSD را برای مواجهه با این مسئله معرفی کرده‌اند: روشی مبتنی بر یادگیری تقویتی که خودتقطیرسازی درون‌سیاستی را با آگاهی از عوامل حواس‌پرت‌کن و امتیازدهی زمانی ترکیب می‌کند. در توضیح چکیده آمده است که دانشجو ویدئوی پاک را می‌بیند و پاسخ‌ها را درون‌سیاستی تولید می‌کند؛ معلم نیز وزن‌های مشترک دارد. متن در دسترس جزئیات بیشتری دربارهٔ سازوکار یا نتایج ارزیابی این چارچوب ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست