چارچوب MESA برای سنجش تعمیم‌پذیری مدل‌های رباتیک معرفی شد

پژوهشگران چارچوب ارزیابی MESA را برای سنجش دقیق و تکرارپذیر توانایی تعمیم در سیاست‌های رباتیکیِ مشروط به زبان معرفی کرده‌اند. این چارچوب می‌کوشد مشخص کند مدل‌ها نه‌فقط آیا شکست می‌خورند، بلکه در چه شرایطی و به چه دلیل از انجام وظیفه بازمی‌مانند.

MESA پنج مجموعهٔ ارزیابی دارد: یکی برای سنجش عملکرد در توزیع آموزشی و چهار مجموعه برای بررسی تعمیم‌پذیری در پیکربندی فضایی، نمونهٔ شیء، دستهٔ شیء و ترکیب زیروظیفه‌ها. به‌گفتهٔ پژوهشگران، بنچمارک‌های موجود یا محدود و اشباع‌شده‌اند، یا تنوع را به بهای کنترل آزمایش فراهم می‌کنند، یا به داده‌های آموزشی بزرگ و نامنظم نیاز دارند.

برای تولید وظایف و نمایش‌های لازم در مقیاس بزرگ، تیم پژوهش MESA-Gen را توسعه داده که بر بهبود MimicGen تکیه دارد. این چارچوب روی دو بستر پیاده‌سازی شده است: مجموعهٔ MESA برای ربات تک‌بازویی و BiMESA که پژوهشگران آن را نخستین بنچمارک بزرگ‌مقیاس برای تعمیم‌پذیری ربات‌های دوبازویی معرفی می‌کنند.

ارزیابی هفت روش پایه، شامل diffusion policyها، رویکردهای مبتنی بر VLM و مدل‌های ازپیش‌آموزش‌دیدهٔ VLA، نشان داد بهترین روش در MESA به امتیاز ۵۲ درصد و در BiMESA به ۴۹ درصد رسید. نویسندگان می‌گویند رتبه‌بندی MESA به‌طور کلی با امتیازهای RoboArena هم‌خوان است؛ نشانه‌ای که به‌گفتهٔ آن‌ها می‌تواند از ارتباط تفاوت‌های میان روش‌ها فراتر از شبیه‌سازی حکایت کند.

این مقاله پیش‌چاپی در arXiv است و در اطلاعات آن، ارائه در کنفرانس CoRL 2026 ذکر شده است.