GHARP انیمیشن سرهای سه‌بعدی را با شبکه‌ای سبک و بلادرنگ اجرا می‌کند

پژوهشگران Apple روش GHARP را برای متحرک‌سازی بلادرنگ سرهای سه‌بعدی معرفی کرده‌اند. این روش از چند تصویر ورودی از یک فرد و یک سیگنال هدایت‌کنندهٔ حالت چهره استفاده می‌کند و نمایش سه‌بعدی هندسه و ظاهر فرد را با انیمیشن چهره ترکیب می‌کند.

GHARP کار را به دو مرحله تقسیم می‌کند: مرحلهٔ هویت، که نمایش فرد را به‌صورت آفلاین می‌سازد، و مرحلهٔ انیمیشن، که هنگام اجرا تغییرات وابسته به حالت چهره را پیش‌بینی می‌کند. مرحلهٔ نخست می‌تواند پرهزینه باشد، اما مرحلهٔ انیمیشن با شبکه‌ای سبک اجرا می‌شود که برای دستگاه‌های موبایل بهینه شده است. این روش در فضای نهفتهٔ ساختاریافتهٔ یک مدل بازسازی از پیش‌آموزش‌دیده کار می‌کند و با ترکیب نماهای ورودی، نمایش فشرده و ثابتی از Gaussianها می‌سازد.

به گفتهٔ پژوهشگران، روش‌های مبتنی بر کد حالت چهره معمولاً اطلاعاتی دربارهٔ وضعیت بدن و محل لباس ندارند؛ در نتیجه، ظاهر این بخش‌ها در ورودی به‌قدر کافی مشخص نیست و می‌تواند به تاری و لرزش زمانی بینجامد. GHARP برای رفع این ابهام، شبکه‌ای برای هم‌ترازکردن بدن به کار می‌گیرد تا بدن فرد در تصویر مقصد با تصاویر مرجع ورودی هم‌راستا شود.

این روش در بنچمارک Ava-256 به کیفیتی در سطح پیشرفتهٔ روز دست یافته است. پژوهشگران همچنین گزارش می‌کنند که GHARP روی پردازندهٔ گرافیکی A100 تا ۱۳ برابر سریع‌تر اجرا می‌شود و از هشت برابر Gaussian کمتر استفاده می‌کند.