هوش مصنوعی

معیار LOLPlay عملکرد عامل‌های دیداری را در League of Legends می‌سنجد

این بنچمارک ۳۶ وظیفهٔ ویژهٔ قهرمانان را در بازی تعریف می‌کند؛ در ارزیابی سه مدل، بالاترین نرخ موفقیت در انجام وظیفه ۲۵ درصد بود.

۱ دقیقه مطالعه
Figure 1: The agent thinks; the environment keeps moving. Top: a schematic environment waiting for an action (e.g., VideoGameBench Lite [ 33 ] ), not a paused-game experiment. Bottom: LOLPlay advances approximately 10 ga
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپی در arXiv، بنچمارک LOLPlay را برای سنجش عامل‌های دیداریِ بلادرنگ معرفی کرده‌اند؛ عامل‌هایی که باید هم‌زمان با تغییر محیط، استدلال کنند و دست به عمل بزنند. این معیار در محیط اصلی بازی League of Legends اجرا می‌شود و ۳۶ وظیفهٔ ویژهٔ قهرمانان را در چهار حوزهٔ مدیریت منابع، نبرد، همکاری و اهداف بازی پوشش می‌دهد.

عامل‌ها از راه دیدن اسکرین‌شات‌ها و انجام کنش‌های ماوس و صفحه‌کلید با بازی تعامل می‌کنند. راه‌اندازی خودکار و ۸۲ بررسی اجراییِ زیروظیفه نیز در نظر گرفته شده تا پیشرفت نسبی از تکمیل کامل وظیفه تفکیک شود.

در ۳۲۴ ارزیابی از سه مدل، با سه سطح تلاش استدلال، GPT-6 Astra در سطح تلاش کم و متوسط بالاترین نرخ موفقیت در انجام وظیفه را با ۲۵ درصد ثبت کرد. این مدل در سطح تلاش متوسط نیز با نرخ ۴۰٫۳ درصد، بهترین نتیجه را در موفقیت زیروظیفه‌ها داشت. بااین‌حال، افزایش تلاش استدلال به سطح بالا برای هیچ‌یک از مدل‌ها هیچ‌کدام از این دو معیار را نسبت به سطح پایین بهبود نداد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست