پژوهشگران ۶۵۷۵ مجموعه‌داده برای بررسی اثرهای ناخواستهٔ آموزش مدل‌های زبانی ساختند

داده‌های آموزشی ممکن است پیامدهایی پیش‌بینی‌نشده برای رفتار مدل‌های زبانی داشته باشند؛ برای نمونه، داده‌های مربوط به کدنویسی ناامن می‌توانند به ناهماهنگی گسترده‌تر بینجامند و استفاده از نام‌های قدیمی پرندگان ممکن است مدلی را به اتخاذ شخصیتی متعلق به قرن نوزدهم سوق دهد. پژوهشگران می‌گویند نمونه‌های شناخته‌شده از این پدیده تاکنون اندک و عمدتاً به‌صورت دستی ساخته یا تصادفی کشف شده‌اند.

در مقاله‌ای منتشرشده در arXiv، پژوهشگران روشی برای کشف خودکار «مجموعه‌داده‌های دارای اثرهای جانبی شگفت‌آور» پیشنهاد کرده‌اند. این مجموعه‌ها باید رفتار هدفی را برانگیزند، مانند داده‌های معمول پساآموزش به نظر برسند و برای ارزیاب انسانیِ بررسی‌کنندهٔ داده‌ها غافلگیرکننده باشند. پژوهشگران این معیارها را با داورهای مبتنی بر مدل زبانی عملیاتی کرده و از تکامل، یادگیری تقویتی و یادگیری زیرلبی برای جست‌وجوی مجموعه‌های امتیازبالا بهره برده‌اند.

پس از ارزیابی دوباره و پالایش با معیارهای نگه‌داشته‌شده، این فرایند ۶۵۷۵ مجموعه‌داده در هشت دستهٔ رفتاری تولید کرد. به‌گفتهٔ پژوهشگران، بسیاری از اثرها میان خانواده‌ها و اندازه‌های مختلف مدل تعمیم می‌یابند. آن‌ها همچنین گزارش می‌کنند که معیارهای خودکار با داوری پژوهشگران یادگیری ماشین هم‌راستاست و مدل‌های پیشرفته در پیش‌بینی اثرهای جانبی از انسان‌ها بهتر عمل می‌کنند. این مجموعه‌ها برای مطالعهٔ تعمیم فراهم شده‌اند و می‌توانند زمینه را برای پیش‌بینی پیامدهای دادهٔ آموزشی پیش از استقرار مدل فراهم کنند.