پژوهش

DiTGaze با مدل انتشار، دادهٔ تخمین نگاه را برای هر فرد گسترش می‌دهد

پژوهشگران در پیش‌چاپی در arXiv سامانه‌ای معرفی کرده‌اند که با شرط‌گذاری هندسی و نمونه‌برداری از جهت‌های میانی نگاه، نیاز به گردآوری دادهٔ برچسب‌خوردهٔ فراوان را کاهش می‌دهد.

۱ دقیقه مطالعه
Figure 2 : DiTGaze generator. Face and eye Gaussians form a two-stream 3DGS backbone. Pose and expression drive the Face Deform Field to produce offsets Δ ​ x \Delta x , while sampled target gaze drives the Eye Rotation
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

تخمین دقیق جهت نگاه برای هر فرد به داده‌های برچسب‌خوردهٔ همان کاربر نیاز دارد؛ اما ثبت تصویرهایی که طیف گسترده‌ای از جهت‌های نگاه را پوشش دهند دشوار است. پژوهشگران در پیش‌چاپ DiTGaze روشی برای افزایش داده معرفی کرده‌اند که بر پایهٔ 3D Gaussian Splatting است و مرحلهٔ رندر کانولوشنی را با یک Diffusion Transformer نهفته و شرط‌گذاری‌شده با هندسه جایگزین می‌کند.

در این سامانه، یک لایهٔ پروجکشنِ یادگرفتنی و یک VAE ثابت، ویژگی‌های Gaussian رندرشده را به توکن‌های نهفته تبدیل می‌کنند. زمان گام انتشار و اطلاعات هویت و حالت چهره نیز از طریق Adaptive Layer Normalization وارد مدل می‌شوند. DiTGaze با نمونه‌برداری از زاویه‌های میانی yaw و pitch، نظارت آموزشی برای جهت نگاه را متراکم‌تر می‌کند؛ قیدِ تعامد هم برای کاهش تداخل میان نگاه، ژست و حالت چهره به کار می‌رود.

چکیدهٔ در دسترس به ارزیابی روی مجموعه‌دادهٔ ETH-XGaze اشاره می‌کند، اما نتیجهٔ عددی یا جزئیات عملکرد در متن ارائه‌شده نیامده است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست