ViBench 2.0 نشان می‌دهد مدل‌های کدنویسی هنوز در ساخت محصول کامل مشکل دارند

پژوهشگران Replit بنچمارک ViBench 2.0 را برای سنجش توانایی مدل‌ها در ساخت نرم‌افزارهای چندمرحله‌ای معرفی کرده‌اند؛ آزمونی که به‌جای ارزیابی یک وظیفهٔ منفرد و دقیقاً تعریف‌شده، روند تکمیل محصول را با درخواست‌های پی‌درپی دنبال می‌کند. نتایج ارزیابی ۹ مدل نشان می‌دهد حتی مدل‌های برتر در گذراندن آزمون‌ها و تحویل محصول کاملاً کارآمد فاصله دارند: سه مدل قوی‌تر تا ۹۸ درصد از برنامه‌های آزمون را می‌گذرانند، اما نرخ تحویل محصول کامل در آن‌ها از ۶۵ درصد فراتر نمی‌رود. هیچ‌یک از مدل‌های دارای وزنِ باز نیز محصولی کاملاً کارآمد تحویل نداده است.

این بنچمارک شامل ۱۷ محصول وب فول‌استک است که بر پایهٔ نرم‌افزارهای پرکاربرد طراحی شده‌اند و در مجموع با ۲۴۱ درخواست قابلیت تازه گسترش می‌یابند. ارزیابی فقط در پایان ساخت انجام می‌شود: یک عامل مرورگر ۵۴۴ برنامهٔ آزمون را اجرا می‌کند و محصول تنها زمانی قبول است که همهٔ برنامه‌ها را بگذراند. پژوهشگران می‌گویند پروتکل امتیازدهی را اعتبارسنجی کرده‌اند تا نتیجهٔ سخت‌گیرانهٔ آزمون قابل‌اتکا باشد.

بااین‌حال، نتایج یک خانوادهٔ مدل در سه انتشار پیاپی از بهبود سریع حکایت دارد: امتیاز pass@1 در محصولات عمومی بنچمارک از ۳ درصد به ۵۳ درصد رسیده و هزینهٔ هر ساخت نیز بیش از نصف شده است. پژوهشگران هشت محصول را همراه با ابزار اجرا و ارزیاب منتشر می‌کنند و ۹ محصول دیگر را برای ارزیابی نگه می‌دارند. این مقاله پیش‌چاپی در arXiv است.