شبیه‌سازی بیش از ۱۶ هزار گفت‌وگو برای ارزیابی عامل پشتیبانی Nubank

پژوهشگران در پیش‌چاپی در arXiv روشی برای ارزیابی عامل‌های هوش مصنوعیِ تجربهٔ مشتری پیش از استقرار معرفی کرده‌اند. این عامل‌ها با کمک مدل‌های زبانی و ابزارها به درخواست‌های مشتریان پاسخ می‌دهند؛ اما سنجش عملکردشان دشوار است، چون آزمون دستی پوشش محدودی دارد و آزمایش زنده ممکن است مشتریان را در معرض خطا قرار دهد. مسئله در صنایع قانون‌گذاری‌شده، که عامل باید نیت مشتری را تشخیص دهد، سیاست‌های عملیاتی پیچیده را رعایت کند و ابزارها را درست به کار بگیرد، اهمیت بیشتری دارد.

در این روش، مشتریان مصنوعی به پاسخ‌های عامل واکنش نشان می‌دهند و خروجی ابزارها نیز شبیه‌سازی می‌شود؛ بنابراین می‌توان گردش‌کارهای چندمرحله‌ای را بدون اتصال به سامانه‌های عملیاتی اجرا کرد. پژوهشگران از شبیه‌ساز Snowglobe برای بررسی عامل تحویل کارت Nubank و نسخهٔ توسعه‌یافتهٔ آن، Card Management، استفاده کردند؛ این عامل دوم پرترافیک‌ترین عامل پشتیبانی گفت‌وگویی Nubank در برزیل است.

در چهار نسخهٔ مستقرشده، امتیازهای دودویی ارزیاب در شبیه‌سازی و تولید همبستگی بالایی داشتند. پژوهشگران همچنین گزارش کردند که بهبودهای مبتنی بر شبیه‌سازی، در یک آزمون زندهٔ A/B، امتیاز خالص ترویج تراکنشی (tNPS) را ۳۶٫۶۹ واحد افزایش داد.

در بخش دیگری از پژوهش، بیش از ۱۶ هزار گفت‌وگوی شبیه‌سازی‌شده برای ارزیابی پیکربندی‌های مدل‌های دارای وزن باز به کار رفت. مدلی که از این غربالگری انتخاب شد، در آزمون زندهٔ A/B نرخ خودخدمتی (SSR) را ۸٫۸۲ واحد درصد افزایش داد و آن را به بالاترین سطح گزارش‌شده در Nubank رساند؛ در همان آزمون، تغییر tNPS از نظر آماری معنادار نبود. نویسندگان می‌گویند شبیه‌سازی امکان بررسی گستردهٔ مدل‌ها، تنظیمات استدلال و دستورها را بدون مواجههٔ مشتریان با آزمایش‌ها فراهم کرد.