تأیید رسمی کدهای Dafny لزوماً به معنای توافق مستقل مدل‌ها نیست

در یک پیش‌چاپ arXiv، پژوهشگران پروتکلی برای سنجش توافق مستقل مدل‌های زبانی در تبدیل معیارهای کارآزمایی بالینی به کد رسمی Dafny معرفی کرده‌اند. در این روش، یک مدل معیارها را به گزاره‌ای در Dafny تبدیل می‌کند و مدل دیگری روشی اجرایی می‌نویسد که در برابر آن گزاره بررسی می‌شود. نویسندگان تأکید می‌کنند که تأیید پس‌شرط Dafny فقط درستی یک فرمول را نشان می‌دهد؛ نه اینکه دو مدل واقعاً و مستقل از هم به یک برداشت رسیده باشند.

در آزمونی روی ۹۶ سند و چهار پیکربندی مدل، حتی کنترلِ استفاده از یک مدل یکسان نیز فقط در ۵۹٫۳ درصد موارد توافق داشت: دو استخراج مستقل از یک متن همیشه به نتیجهٔ یکسان نمی‌رسیدند. نتیجه به نحوهٔ تقسیم نقش‌ها هم حساس بود. در پیکربندی GPT-4.1-nano و GPT-4.1-mini، وقتی مدل قوی‌تر نقش Implementer را داشت، توافق ۵۳ درصد بود؛ با جابه‌جایی نقش‌ها این رقم به ۱۴٫۳ درصد رسید.

قوی‌ترین پیکربندی آزمایش‌شده، GPT-5.6-luna و GPT-5.4-mini، به توافق ۳۴٫۴ درصدی رسید؛ رقمی پایین‌تر از خط مبنای استفاده از یک مدل واحد. در این پیکربندی، تناقض مستقیم در ۴۲٫۷ درصد موارد دیده شد. پژوهشگران همچنین یک خطای مهم در فرایند تأیید شناسایی کردند: مدل ضعیف‌تر گاهی پس‌شرط را با فراخوانی مستقیم گزارهٔ مدلِ تعریف‌کننده برآورده می‌کرد. پس از بررسی ساختاری و اصلاح این مورد، توافق در پیکربندی مربوط از ۱۴٫۳ به ۱۳٫۲ درصد کاهش یافت.

این نتایج نشان می‌دهد موفقیت در تأیید رسمی به‌تنهایی شاهد کافی برای توافق مستقل میان مدل‌ها نیست و توانایی بیشتر نیز لزوماً به برداشت مشترک از یک منبع نمی‌انجامد. مقاله در کارگاه NeurIPS 2026 دربارهٔ کدنویسی قابل‌راستی‌آزمایی پذیرفته شده است.