پژوهش: در ارزیابی رعایت مقررات بانکی، «مدل و چارچوب اجرایی» را باید با هم سنجید

پژوهشی تازه در arXiv می‌گوید ارزیابی مدل‌های زبانی برای استفاده در بانک‌ها نباید به خود مدل محدود بماند: ابزارها، اطلاعات در دسترس و سازوکار نظارت بر اقدامات مدل نیز در رعایت مقررات نقش دارند. نویسندگان پیشنهاد می‌کنند واحد ارزیابی، ترکیب «مدل و چارچوب اجرایی» باشد و آزمون‌ها گزارش اقدامات انجام‌شده را بررسی کنند، نه فقط متن گفت‌وگو را.

پژوهشگران چهار مدل متن‌باز را در پنج چارچوب آزمودند: خط لوله‌ای با یک تصمیم ساختاریافته، چرخهٔ ابزارمحور به سبک ReAct، چرخه‌ای که سیاست فقط از راه جست‌وجو در دسترس بود، چرخه‌ای با حافظهٔ طولانی و بی‌ضرر از مشتری و چرخه‌ای با بازبین انطباقِ هم‌مدل. آزمون‌ها شامل ۱۵۶ مورد ازپیش‌ثبت‌شده در یک بانک خُرد شبیه‌سازی‌شده بود؛ قواعد آن ۱۱ خانوادهٔ مقرراتی، از جمله اعتبار مصرف‌کننده، پرداخت، حمایت از سرمایه‌گذار، حفاظت از داده و مقابله با پول‌شویی را بازتاب می‌داد. در مجموع، ۳۱۲۰ سناریوی دو نوبتی با امتیازدهی قطعی بر اساس ردپای ابزارهای اجراشده ارزیابی شدند و تخلف‌ها و امتناع‌های بیش‌ازحد جداگانه شمرده شدند.

در مجموع مدل‌ها، نرخ پاسخ درست با تغییر چارچوب بین ۸۷٫۳ تا ۹۲٫۱ درصد بود؛ اما اثر چارچوب برای همهٔ مدل‌ها یکسان نبود. در یک مدل، فاصلهٔ بهترین و بدترین چارچوب به ۱۱٫۵ واحد درصد رسید و جایگاه آن را از اول به آخر میان چهار مدل تغییر داد. برای مدلی دیگر، تفاوت قابل‌تشخیصی دیده نشد. پژوهشگران می‌گویند شواهد مربوط به تعامل مدل و چارچوب معنادار به نظر می‌رسد، اما قطعی نیست.

بازبین انطباقِ هم‌مدل نرخ تخلف را از ۹٫۶ به ۶٫۴ درصد کاهش داد، بی‌آنکه امتناع‌های بیش‌ازحد افزایش یابد؛ نتیجه‌ای خلاف پیش‌بینی ازپیش‌ثبت‌شدهٔ پژوهش. در مقابل، قواعدی که به محاسبهٔ تاریخ نیاز داشتند در همهٔ چارچوب‌ها شکست خوردند.

در تحلیلی اکتشافی با دو داور زبانی و بررسی انسانیِ کور، ۲۶ درصد تخلف‌ها با پیامی همراه بود که به مشتری می‌گفت عامل آن اقدام را انجام نداده است. بنابراین، بررسی متن گفت‌وگو به‌تنهایی ممکن بود این موارد را امتناع درست ثبت کند، درحالی‌که ردپای اجرا نشان می‌داد اقدام انجام شده است. این مقاله پیش‌چاپ است و نتایج آن در محیط بانک شبیه‌سازی‌شده به دست آمده‌اند.