NVIDIA چهار مدل متن‌باز برای شبیه‌سازی تعاملی جهان معرفی کرد

NVIDIA چهار checkpoint با وزن‌های باز به خانوادهٔ Cosmos 3 افزوده است؛ مدل‌هایی که برای ساخت شبیه‌سازی‌های تعاملی جهان و صحنه‌های رانندگی چندحسگری و چندنمایی توسعه یافته‌اند. هر چهار مدل نسخه‌های پس‌آموزش‌یافتهٔ Cosmos 3 Nano هستند و ۱۶ میلیارد پارامتر قابل‌آموزش دارند. مجوز OpenMDW1.1 استفادهٔ تجاری و غیرتجاری را، مطابق شرایط آن، مجاز می‌داند.

در کاربردهای رباتیک، Sim-Bimanual پیامدهای بصریِ کنش‌ها را پیش‌بینی می‌کند و Sim-Transfer کنترل‌های یک شبیه‌ساز فیزیکی را به مشاهدات تولیدشده تبدیل می‌کند. به این ترتیب، پژوهشگران می‌توانند محیط‌هایی با صحنه‌ها و زاویه‌های دید متغیر بسازند.

برای رانندگی خودکار، مدل Cosmos3-Nano-Transfer-Auto دادهٔ مصنوعی را به‌صورت آفلاین تولید می‌کند. این مدل می‌تواند ویدئوی همگام‌شده از حداکثر ۱۱ نمای دوربین، از جمله دوربین‌های fisheye، بسازد و تولید هم‌زمان RGB و LiDAR را پشتیبانی کند. کنترل‌های نقشهٔ سناریوی جهان (WSM) برای هر دوربین، ساختار صحنه و حرکت ترافیک را تعیین می‌کنند و promptهای متنی ظاهر را هدایت می‌کنند. امکان تغییر شرایط محیطی برای گسترش پوشش آموزش و ارزیابی وجود دارد؛ تصویر RGB اولیه نیز می‌تواند ظاهر صحنه را تثبیت کند. تولید LiDAR علاوه بر این به کنترل‌های range-map هم‌تراز با نقشهٔ HD نیاز دارد. این مدل همچنین پایه‌ای برای سازگارکردن Cosmos با مجموعه‌حسگرها و حوزهٔ رانندگیِ اختصاصی توسعه‌دهندگان است.

این مجموعه تولید جریانی را نیز در بر می‌گیرد تا پیش‌بینی ویدئو به تعامل پیوسته متصل شود و پژوهشگران بتوانند روند اثرگذاری کنش‌ها و مشاهدات بر یکدیگر را بررسی کنند. NVIDIA این وزن‌ها و دستورالعمل‌های پس‌آموزش را نقطهٔ شروعی برای تطبیق مدل‌ها، مقایسهٔ روش‌ها و مشارکت در بهبود آن‌ها می‌داند؛ اما ارزیابی میزان اتکاپذیری مدل‌ها برای یادگیری و سنجش سیاست‌ها و شناخت محدودیت‌هایشان همچنان از مسائل پیش‌رو است.