رباتیک
Leap-VLA می‌خواهد کنترل سریع ربات را از پردازش کندِ مدل بینایی‌ـ‌زبانی جدا کند
پیش‌چاپی در arXiv معماری‌ای را معرفی می‌کند که زمینهٔ معنایی VLM را میان گام‌های کنترل نگه می‌دارد و برای واکنش‌های سریع‌تر، از جریان تصویری تازه و یک متخصص کنش استفاده می‌کند.
مدل‌های بینایی‌ـ‌زبانی‌ـ‌کنش (VLA) معمولاً در هر گام کنترل، مشاهدهٔ کامل را دوباره از یک مدل بینایی‌ـ‌زبانی چندمیلیاردپارامتری عبور می‌دهند. نویسندگان پیش‌چاپ Leap-VLA می‌گویند این کار با تفاوت سرعت میان دو نیاز جور نیست: معنای صحنه تقریباً با آهنگ ۱ هرتز تغییر می‌کند، اما کنترل واکنشی به نرخ ۲۰ تا ۵۰ هرتز نیاز دارد.
Leap-VLA این دو وظیفه را از هم جدا می‌کند. مدل VLM با فرکانس پایین نقش تکیه‌گاه معنایی را دارد و زمینهٔ محاسبه‌شده‌اش در گام‌های بعدی دوباره استفاده می‌شود. در کنار آن، یک متخصص کنش مبتنی بر flow matching با فرکانس بالا کار می‌کند و زمینهٔ ذخیره‌شده را با جریان تصویری تازه و کم‌تأخیر ترکیب می‌کند. این جریان را رمزگذار فشرده‌ای فراهم می‌کند که با ویدئوهای ربات و روش‌های بازسازی ماسک‌شده، optical flow و عمق پیش‌آموزش دیده است.
معماری همچنین سن زمینهٔ ذخیره‌شده را اندازه می‌گیرد و با adaptive layer normalization در اختیار متخصص کنش می‌گذارد. چکیدهٔ در دسترس جزئیات نتایج ارزیابی یا میزان بهبود عملکرد را بیان نمی‌کند. این مقاله در arXiv به‌صورت پیش‌چاپ منتشر شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده