بنچمارک جدیدی توانایی عامل‌های هوش مصنوعی در به‌روزرسانی تجربه را می‌سنجد

پژوهشگران در پیش‌چاپی در arXiv، بنچمارک ReScopeBench را برای ارزیابی چرخهٔ تجربه در عامل‌های هوش مصنوعی معرفی کرده‌اند؛ عاملیت‌هایی که باید در چندین هدف پیاپی به کاربران کمک کنند، نه اینکه فقط یک وظیفهٔ منفرد را انجام دهند. این بنچمارک در ۱۸ محیط تعاملی بررسی می‌کند عامل‌ها چگونه محیط‌های ناآشنا را می‌شناسند، آموخته‌هایشان را در وظایف بعدی به کار می‌گیرند و با تغییر محیط آن‌ها را به‌روز می‌کنند.

ReScopeBench میان دو نوع تجربه تمایز می‌گذارد: تجربهٔ ساختاری دربارهٔ سازمان محیط و شیوهٔ دسترسی به آن، و تجربهٔ قاعده‌ای دربارهٔ اصول و محدودیت‌های قابل استفاده در تصمیم‌گیری‌های گوناگون. طراحی بنچمارک زنجیره‌هایی از وظایف با تجربه‌های مشترک می‌سازد و تغییرات محیطیِ بی‌اعلان را نیز وارد می‌کند؛ پژوهشگران هم عملکرد در وظایف و هم تغییرات تجربهٔ ذخیره‌شده را دنبال می‌کنند.

ارزیابی ۲۰ مدل نشان داد حفظ تجربه می‌تواند عملکرد در وظایف را بهبود دهد، اما عامل‌ها در به‌روز نگه‌داشتن آن هنگام تغییر محیط مشکل دارند. حتی ثبت درست تجربهٔ لازم هم همیشه به انجام موفق وظیفه منجر نشد. نویسندگان، نگهداری گزینشی تجربه و استفادهٔ مؤثر از آن را دو چالش مکمل برای عامل‌های بلندمدت می‌دانند.