MOMASPLAT آموزش ربات‌های متحرک را با نمایش‌های دست‌کاری از زاویه‌های تازه تقویت می‌کند

سیاست‌های بینایی‌ـ‌حرکتی که با یادگیری تقلیدی آموزش می‌بینند، به تغییر زاویهٔ دوربین حساس‌اند. این مسئله در دست‌کاری متحرک اهمیت ویژه‌ای دارد: ربات ممکن است به‌دلیل خطای ناوبری، لغزش مکان‌یابی یا محدودیت‌های محیطی، کار را از موقعیتی آغاز کند که با جایگاه ربات هنگام ثبت نمایش آموزشی یکسان نیست. روش‌های پیشینِ تولید نماهای تازه نیز معمولاً صحنه را ثابت فرض می‌کنند و نمی‌توانند تغییرات شیء پس از تماس را بازسازی کنند.

پژوهشگران در پیش‌چاپ MOMASPLAT روشی برای ساخت مسیرهای کامل دست‌کاری از موقعیت‌های پایهٔ دیده‌نشده معرفی کرده‌اند؛ از جمله بخش‌هایی که در آن‌ها ربات با شیء تعامل می‌کند. این روش از مشاهده‌های چندزاویه‌ایِ موجود در داده‌های معمول آموزش بهره می‌گیرد و با ترکیب 3D Gaussian Splatting، مدل‌های بنیادین سه‌بعدی و بازتنظیم حرکت مبتنی بر سینماتیک، صحنه و شیء دست‌کاری‌شده را جداگانه بازسازی می‌کند. سپس نماهای تازه و نمایش‌های مصنوعیِ سازگار از نظر هندسی، همراه با کنش‌های تبدیل‌شده، تولید می‌شوند.

ارزیابی روی پنج وظیفهٔ واقعیِ دست‌کاری متحرک، شامل اشیای صلب و مفصلی در سه صحنه، انجام شده است. پژوهشگران همچنین در شبیه‌سازی، وفاداری نمایش‌های ساخته‌شده را با دادهٔ مرجع سنجیده‌اند. به‌گزارش آن‌ها، MOMASPLAT در برابر موقعیت‌های پایهٔ ناآشنا، استحکام را به‌طور محسوسی افزایش داده و میانگین نرخ موفقیت را بیش از دو برابر قوی‌ترین روش پایه کرده است. در جابه‌جایی‌های بزرگ موقعیت پایه نیز موفقیت غیرصفر حفظ شده، درحالی‌که همهٔ روش‌های پایه شکست خورده‌اند. نویسندگان می‌گویند این روش می‌تواند نیاز به گردآوری گستردهٔ دادهٔ واقعی را کاهش دهد.