پژوهشگران دربارهٔ سوگیری در شبیه‌سازهای کاربران مبتنی بر مدل‌های زبانی هشدار دادند

ارزیابی عامل‌های مکالمه‌ای با داده‌های آفلاین ممکن است سناریوهای نادر را پوشش ندهد و امکان آزمودن سیاست‌های جدید را فراهم نکند. پیش‌چاپی با عنوان «Controllable User Simulation» این محدودیت را انگیزه‌ای برای استفاده از شبیه‌سازهای کنترل‌پذیر کاربر می‌داند؛ شبیه‌سازهایی که معمولاً با وادارکردن یا ریزتنظیم مدل‌های زبانی بزرگ ساخته می‌شوند.

نویسندگان مسئلهٔ شبیه‌سازی کنترل‌پذیر را در چارچوب استنباط علّی صورت‌بندی کرده‌اند و آن را به روش‌های ارزیابی خارج از سیاست پیوند می‌دهند. به‌گفتهٔ چکیده، آموزش شبیه‌ساز با ریزتنظیم نظارت‌شده بر برچسب‌هایی که پس از ثبت مسیرهای مکالمه تعیین شده‌اند، مدلی با سوگیری ساختاری ایجاد می‌کند: این برچسب‌ها به رفتار سیاستی که داده‌ها را تولید کرده وابسته‌اند و در نتیجه نوعی سوگیری ناشی از اطلاع از آینده وارد مدل می‌شود. متن ارائه‌شده در منبع در میانهٔ توضیح پیامد این سوگیری قطع شده است.