رباتیک

RoboTryOn حرکت انسان را به نمایش ربات تبدیل می‌کند

پژوهشگران روشی پیشنهاد کرده‌اند که با الهام از «پرو مجازی لباس»، ویدئوی انسان را به ویدئویی از رباتی مشخص تبدیل می‌کند؛ رویکردی برای ساخت نمایش‌های رباتیک از ویدئوهای اول‌شخص.

۱ دقیقه مطالعه
Figure 1: RoboTryOn pipeline. (a) The image model sequentially translates keyframes of a human video into robot keyframes, the video model synthesizes the motion between them under the guidance of the hand skeleton flow,
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

آموزش مدل‌های پایهٔ رباتیک برای انجام وظایف تازه هنوز تا حد زیادی به نمایش‌هایی متکی است که با کنترل از راه دور تهیه می‌شوند. ویدئوهای اول‌شخص انسان می‌توانند جایگزینی مقیاس‌پذیر باشند، اما چسباندن تصویر ربات روی ویدئو یا تبدیل مستقیم ژست‌های انسان به حرکت ربات، برای ربات‌های دارای درجات آزادی زیاد ممکن است شکاف‌های بصری یا حرکتی ایجاد کند.

پژوهشگران در پیش‌چاپ RoboTryOn این مسئله را به «پرو مجازی لباس» تشبیه می‌کنند: همان‌طور که در پرو لباس، شخص حفظ و لباس عوض می‌شود، در RoboTryOn حرکتِ ثبت‌شده حفظ می‌شود و انسان با ربات جایگزین می‌شود. این روش ویدئوی انسان را به ویدئویی از ربات هدف تبدیل می‌کند؛ ربات هدف با یک تصویر مرجع مشخص می‌شود. متن در دسترس دربارهٔ جزئیات بیشتر روش یا نتایج ارزیابی آن اطلاعاتی ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست