بهبود عامل‌های هوش مصنوعی می‌تواند با از دست رفتن توانایی‌های قبلی همراه باشد

پژوهشگران در پیش‌چاپی در arXiv چهار روش برای تکامل harness عامل‌های هوش مصنوعی را در کارهای عمومی و برنامه‌نویسی بررسی کرده‌اند. این روش‌ها امکان بهبود تکرارشونده را بدون به‌روزرسانی وزن‌های مدل فراهم می‌کنند؛ اما افزایش امتیاز بنچمارک لزوماً به معنای بهبود قابل‌اعتماد، کارآمد و قابل‌انتقال نیست.

هر ۱۶ عامل تکامل‌یافته توانستند کارهایی را انجام دهند که پیش‌تر پوشش نداده بودند، اما هم‌زمان برخی از توانایی‌های قبلی را از دست دادند. در یک نمونه از کارهای عمومی، قابلیت اتکا ۵٫۲ واحد درصد افزایش یافت، ولی عامل دیگر قادر به انجام ۱۰ کاری نبود که پیش‌تر از پس آن‌ها برمی‌آمد. بیشتر افزایش‌های قابلیت اتکا نیز با هزینهٔ استقرار بالاتر همراه بود.

نویسندگان می‌گویند تغییرهای مشخص معمولاً از یادآوری‌های کلی مؤثرترند، اما ترکیب تغییرها می‌تواند نتیجه را عوض کند. همچنین، عامل دارای بالاترین امتیاز در هیچ‌یک از چهار مجموعهٔ ارزیابی، بیشترین میانگین بهبود را نداشت. انتقال به وظایف دیگر هم یکدست نبود: پوشش در مقصدهای عمومی معمولاً کاهش یافت، اما در مقصدهای برنامه‌نویسی و با harness لایهٔ بیرونی، افزایش پیدا کرد.

پژوهشگران بر ارزیابی‌ای تأکید می‌کنند که توانایی‌های حفظ‌شده و ازدست‌رفته را هم بسنجد و شرایط کاربرد هر تغییر را روشن کند. آن‌ها همچنین روشی به نام EvoAudit معرفی کرده‌اند که با بازنگری در مراحل انتخاب، تحلیل، تغییر و پذیرش، بهترین عملکرد را در ارزیابی‌هایشان به دست آورد.