هوش مصنوعی

GenDSR از بازنمایی‌های مدل‌های ویدئوساز برای استدلال فضایی پویا استفاده می‌کند

این چارچوب با انتقال بازنمایی‌های میانی مدل‌های تولید ویدئو به مدل‌های بینایی‌ـ‌زبان، تغییر روابط فضایی در طول زمان را هدف می‌گیرد.

۱ دقیقه مطالعه

پیش‌چاپی در arXiv چارچوبی به نام GenDSR معرفی می‌کند که برای تقویت استدلال فضایی پویا در مدل‌های بینایی‌ـ‌زبان طراحی شده است. این مدل‌ها باید وضعیت صحنه را حفظ کنند و هم‌زمان تغییر روابط فضایی را دنبال کنند؛ کاری که به گفتهٔ نویسندگان همچنان دشوار است.

GenDSR بازنمایی‌های میانی مدل‌های تولید ویدئو را به مدل بینایی‌ـ‌زبان منتقل می‌کند. این مدل‌های ویدئوساز که برای تولید پویایی‌های زمانیِ منسجم آموزش دیده‌اند، منبعی از بازنمایی‌های مکانی‌ـ‌زمانی به شمار می‌روند. GenDSR به‌جای استفاده از ویژگی‌های مدل ویدئوساز به‌صورت یک پیش‌فرض یکپارچه، آن‌ها را در دو شاخه به کار می‌گیرد: شاخهٔ «خام» برای حفظ زمینهٔ کلیِ تولیدشده و شاخهٔ «دلتا» برای برجسته‌کردن تغییرات زمانی.

چکیدهٔ در دسترس توضیح بیشتری دربارهٔ سازوکار چارچوب یا نتایج ارزیابی آن ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست