پژوهش

بازسازی ویدئو از داده‌های تک‌پیکسلی با کمک «تصویر باقیمانده»

پژوهشگران روشی به نام Video-latent inversion معرفی کرده‌اند که از جریان اندازه‌گیری‌های تک‌پیکسلی برای بازسازی بازه‌ای از ویدئو استفاده می‌کند؛ چکیدهٔ پیش‌چاپ، جزئیات کامل عملکرد را ارائه نمی‌دهد.

۱ دقیقه مطالعه
Figure 1: Reading residual images for single-pixel photography. a , A digital micromirror device (DMD) displays binary coding patterns on the image of the scene, and a single-pixel detector records one bucket value per p
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

ضبط ویدئوی پیوسته با افزایش تعداد دوربین‌ها، وضوح تصویر و مدت ضبط پرهزینه‌تر می‌شود؛ درحالی‌که بعضی کاربردهای پایش به‌جای تصاویر کامل، فقط به ثبت رویدادها نیاز دارند. پژوهشگران در پیش‌چاپی در arXiv می‌گویند چنین کاربردهایی می‌توانند از جریان فشردهٔ اندازه‌گیری‌های تک‌پیکسلی استفاده کنند و سپس بازهٔ زمانی دلخواه را به ویدئو بازسازی کنند.

در این روش، هم‌بستگی صحنه در اندازه‌گیری‌هایی با تنها ۰٫۲۴ درصدِ تعداد پیکسل‌های تصویر، شبیه نویز است و بهینه‌سازی هر کلیپ چند دقیقه طول می‌کشد. بااین‌حال، هم‌بسته‌کردن باقیماندهٔ یک تخمین با الگوهای کدگذاری، تصویری باقیمانده تولید می‌کند که گرادیانِ تابع خطای اندازه‌گیریِ مرکززدایی‌شده است. به‌گفتهٔ چکیده، وقتی این تصویر از یک رمزگشای ویدئوییِ ازپیش‌آموزش‌دیده عبور داده می‌شود، میزان هم‌خوانی آن با خطای واقعی از رمزگشاهای کنترلی بیشتر است.

پژوهشگران سپس از روشی با نام Video-latent inversion (VLI) استفاده کرده‌اند. چکیده می‌گوید VLI در شرایطی با ۱٬۰۰۰ اندازه‌گیری سطلی، از بازسازی مبتنی بر فضای نهفتهٔ تصویر به‌صورت فریم‌به‌فریم بهتر عمل می‌کند؛ اما متن ارائه‌شده ادامهٔ نتیجه و جزئیات مقایسه را در بر ندارد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست