ممیزی پژوهشگران: جست‌وجوی بیشتر هنگام اجرا لزوماً کنترل ربات‌ها را بهتر نمی‌کند

پژوهشگران در یک ارزیابی ازپیش‌ثبت‌شده روی Cosmos Policy و RoboCasa، سه فرض مرتبط با افزایش محاسبات هنگام اجرا در مدل‌های جهان‌ـ‌عمل را بررسی کردند: اینکه میان گزینه‌های پیشنهادی سیگنالی برای انتخاب وجود داشته باشد، کاهش محاسبات واقعاً سرعت را بالا ببرد و ارزیابی قابل‌اعتماد بماند.

در داده‌های پاک، انتخاب‌گر ارزشِ آموخته‌شده ۱٫۶۶ واحد درصد از انتخاب تصادفی بدتر بود. حتی یک «اوراکل پس‌نگر» که نتیجهٔ گزینه‌ها را با اطلاع از آینده می‌سنجد، فقط ۱٫۴۰ واحد درصد بهبود داشت؛ بازهٔ اطمینان در سطح اپیزود نیز شامل صفر بود. در ۸۲ درصد حالت‌ها، گزینه‌های مختلف به نتایج یکسانی می‌رسیدند؛ وضعیتی که به‌گفتهٔ پژوهشگران، فرصت کمی برای بهبود از راه انتخاب گزینه باقی می‌گذارد.

هرس توکن‌ها FLOPs هر بار اجرای رو‌به‌جلو را تا ۴۷ درصد کاهش داد، اما متن در دسترس از چکیده فقط می‌گوید افزایش سرعتِ اندازه‌گیری‌شده حداکثر ۱٫۱۵ برابر بوده است. چکیدهٔ منبع در همین نقطه ناتمام است و جزئیات بیشتری دربارهٔ این نتیجه ارائه نمی‌کند.