آزمون‌های معمولی، بخشی از تعمیرهای اشتباه مدل‌های زبانی را پنهان می‌کنند

پژوهشگران در مطالعه‌ای ازپیش‌ثبت‌شده، ۷۳ وظیفه را بررسی کردند که به ۶۰ تغییر مستند در CPython، Node.js و SQLite مربوط بود. آن‌ها هر نسخهٔ اصلاح‌شده را روی محیط‌های اجرایی واقعی و در برابر قراردادهایی آزمودند که از مدل‌ها پنهان نگه داشته شده بود. در مجموعهٔ کامل تعمیرهای بررسی‌شده، آزمون‌هایی که همهٔ assertionها را روی ورودی‌های معمولی اجرا می‌کردند، ۰٫۴۱۰ تعمیر نادرست را برای انتشار تأیید کردند؛ یعنی کد بدون خطای اجرایی کار می‌کرد، اما خروجی‌اش غلط بود.

افزودن یک ورودی مرزی که از یادداشت انتشار نوشته شده بود، این سهم را به ۰٫۰۶۵ کاهش داد؛ در ۱۵ خوشهٔ دیده‌نشده، رقم به ۰٫۰۶۱ رسید. سه ورودی از نویسنده‌ای مبتنی بر GPT-5.6-luna که برنامه را ندیده بود، نرخ را به ۰٫۰۷۰ رساند. بااین‌حال، در مرحله‌ای که مجموعهٔ تعمیرها به ۱۴۹۱ قطعه گسترش یافت و ۲۳۳ مورد دشوارِ گمراه‌کننده به آن اضافه شد—مواردی که روی ورودی‌های معمولی خروجی قدیمی را بازتولید می‌کردند—هنوز ۰٫۱۶۸ و ۰٫۱۵۳ از برنامه‌های نادرست آزمون‌های ورودی مرزی و نویسندهٔ مبتنی بر مدل را پشت سر گذاشتند.

در چهار خانوادهٔ مدل، ورودی مرزی در هر سه مجموعهٔ آزمون، شمار انتشارهای نادرست به‌ازای هر تلاش را در هر سه خانوادهٔ متن‌باز کاهش داد؛ برای نمونه، این نرخ از ۰٫۲۳۳ به ۰٫۰۵۷ رسید، بی‌آنکه تکمیل درست کاهش یابد. خودآزمایی مدل‌ها اثر کمتری داشت. یک ممیزی هوش مصنوعی نیز ۳۴ قرارداد را سخت‌گیرانه‌تر از الزاماتشان دانست؛ کنارگذاشتن موارد مورد اختلاف هیچ‌یک از نتایج را تغییر نداد، اما اختلاف بر سر برچسب‌گذاری کلاس‌ها همچنان باز است. پژوهشگران می‌گویند هیچ کد نوشته‌شده‌ای با مدل اجرا نشد و ابزارهای مطالعه را در صورت درخواست در اختیار می‌گذارند.