پژوهشگران شبیه‌سازی شهری برای ارزیابی مدل‌های زبانی در تحقیقات جنایی ساخته‌اند

پژوهشی تازه در arXiv از دو ابزار برای آزمودن کاربرد مدل‌های زبانی بزرگ در تحقیقات جنایی و نظارت گسترده خبر می‌دهد: موتور شبیه‌سازی شهری Kierston و بنچمارک KierstonBench. نویسندگان می‌گویند سنجش دقت مدل‌ها در کاربردهای واقعی دشوار است، چون داده‌های لازم برای تشخیص درستی نتیجه‌گیری‌های آن‌ها در دسترس نیست؛ همچنین بنچمارکی برای ارزیابی این توانایی‌ها در محیط شبیه‌سازی‌شده وجود نداشته است.

Kierston حدود ۱۲۵ هزار ساکن آلن‌تاون در پنسیلوانیا را مدل‌سازی می‌کند و فعالیت‌های روزانه و سوابقی را می‌سازد که سامانه‌های نظارتی و تحقیقی ممکن است گردآوری کنند؛ از جمله داده‌های مخابراتی، مالی، اداری و پلاک خودرو. KierstonBench این امکان را فراهم می‌کند که عملکرد مدل‌ها در برابر رویدادهای شبیه‌سازی‌شده و ازپیش‌معلوم ارزیابی شود.