هوش مصنوعی
معیار PersonaCodeBench ارزیابی عامل‌های کدنویسی را به نیازهای شخصی کاربران گسترش می‌دهد
پژوهشگران چارچوبی برای سنجش هم‌زمان درستی کد و پایبندی عامل‌ها به مهارت، ترجیحات و محدودیت‌های کاربران معرفی کرده‌اند.
PersonaCodeBench یک معیار ارزیابی برای عامل‌های کدنویسی است که تعامل چندمرحله‌ای با کاربر شبیه‌سازی‌شده را در بر می‌گیرد. این چارچوب ویژگی‌هایی مانند نقش کاربر، توانایی فنی، ترجیحات ارتباطی و محدودیت‌های عملی را به الزام‌های قابل‌سنجش در انجام وظیفه تبدیل می‌کند؛ الزام‌هایی دربارهٔ پیاده‌سازی، مجوزها، آزمون، توضیح و تحویل کار.
در جریان ارزیابی، یک کنترل‌گر پاسخ‌های کاربر شبیه‌سازی‌شده و زمان آشکارشدن تدریجی نیازمندی‌ها را مدیریت می‌کند و برآورد آنلاینِ برآورده‌شدن آن‌ها بازخورد می‌دهد. پژوهشگران می‌گویند محتوای نیازمندی‌ها، شرایط افشای آن‌ها و معیارهای پذیرش پیش از ارزیابی تعیین می‌شود. دو ارزیاب جداگانه درستی معمول نرم‌افزار و میزان انطباق با شخصیت و خواسته‌های کاربر را می‌سنجند؛ قبولی نهایی مستلزم موفقیت در هر دو بخش و رعایت بودجهٔ اعلام‌شده است.
نویسندگان می‌گویند این چارچوب را برای ارزیابی عامل‌های پیشرو به کار برده‌اند و یک رتبه‌بندی جامع و تحلیل‌های آزمایشی ارائه کرده‌اند. مقاله در arXiv منتشر شده است؛ اطلاعات منبع، جزئیات نتایج یا رتبه‌بندی‌ها را بیان نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده