پژوهشگران روشی برای ارزیابی پیوسته و خودتنظیم عامل‌های هوش مصنوعی پیشنهاد کردند

پژوهشی تازه در arXiv روشی برای ارزیابی عامل‌های هوش مصنوعی پس از استقرار پیشنهاد می‌کند؛ رویکردی که برخلاف سنجش‌های مقطعی، نتیجه‌های ارزیابی را هم بازبینی می‌کند و هم برای بهبود عامل به کار می‌گیرد. نویسندگان می‌گویند روش آن‌ها ارزیابی را مسئلهٔ برآورد عملکرد با درنظرگرفتن ارزیاب‌های سوگیر و پیامدهای ناقص می‌بیند.

این چارچوب عملکرد را در چهار سطح بررسی می‌کند: بخش‌های منفرد (span)، ردپاها (trace)، مکالمه‌ها و تعامل‌ها. سنجش‌ها بر چهار محور اجرا، محتوا، روند و نتایج انجام می‌شود و رفتار مناسب در سراسر ارزیابی یک قید به‌شمار می‌رود. همچنین، هر نتیجه باید به داده‌های پایه قابل‌ردیابی باشد و با قواعد نسخه‌بندی‌شده محاسبه شود. مؤلفه‌های «منشأ» و «داوری» نیز برای تأیید شواهد و ارزیاب‌ها در نظر گرفته شده‌اند.

دو حلقه این فرایند را کامل می‌کنند: حلقهٔ درونی شواهد، قواعد و معیارها را وارسی می‌کند؛ حلقهٔ بیرونی با آزمون‌های بازگشتیِ هر مؤلفه، به بهبود عامل کمک می‌کند. پژوهشگران خط لوله‌ای خودکار برای اجرای این روش ارائه کرده‌اند و آن را با عامل تحلیل کسب‌وکار SharpInsight و داده‌های عمومی مکالمه آزموده‌اند.

در مقایسهٔ گزارش‌شده، داوری مبتنی بر شواهد و قواعد از امتیازدهی کلی پایایی بیشتری داشته است: ضریب ICC برابر با ۰٫۸۶ در برابر ۰٫۸۱ و کاپای ۰٫۸۱ در برابر ۰٫۶۳ بوده است. مقاله در نسخهٔ پیش‌چاپ منتشر شده و نویسندگان می‌گویند بررسی در سطوح مختلف، تفاوت نوع مشکلات عامل را آشکار می‌کند.