هوش مصنوعی
AgentTrustCI آزمون رفتاری عامل‌های زبانی را به خط ساخت جاوا می‌آورد
چارچوبی مبتنی بر Java و JUnit 5، انتخاب ابزار، اتکای پاسخ به خروجی ابزار و رعایت گردش‌کار را روی ردپاهای ثبت‌شده می‌آزماید؛ نتایج گزارش‌شده فقط به مجموعهٔ آزمون مصنوعی پژوهش مربوط است.
پژوهشگران در پیش‌چاپی در arXiv چارچوب AgentTrustCI را معرفی کرده‌اند؛ ابزاری برای افزودن آزمون‌های رفتاری عامل‌های مبتنی بر مدل‌های زبانی بزرگ به فرایند ساخت نرم‌افزارهای Java. به‌گفتهٔ نویسندگان، ایمن‌بودن زیرساخت به‌تنهایی نشان نمی‌دهد عامل فقط ابزارهای مجاز را به کار برده، پاسخ خود را به خروجی ابزارها مستند کرده یا گردش‌کار لازم را رعایت کرده است.
AgentTrustCI این انتظارات را در سه دستهٔ آزمونِ سیاست، اتکای پاسخ به شواهد و مسیر اجرای عامل بیان می‌کند. آزمون‌ها روی ردپاهای ثبت‌شده اجرا می‌شوند و بازپخش قطعی، اجرای تکرارپذیر آن‌ها را در زمان ساخت ممکن می‌کند. این چارچوب همچنین رابطی برای افزودن ارزیابی معنایی اختیاری با داور دارد.
در ارزیابی گزارش‌شده، خط لولهٔ کامل هر ۳۰ خطای تزریق‌شده و هر ۲۵ مورد سالم را در مجموعه‌ای مصنوعی شامل ۵۵ مورد از هفت حوزهٔ سازمانی درست طبقه‌بندی کرد و هیچ‌یک از ۱۲ موردِ ازپیش‌تعیین‌شدهٔ بحرانی را از دست نداد. هر پیکربندی تک‌لایه ۳۵ مورد را درست تشخیص داد؛ زیرا مجموعهٔ آزمون عمداً برای هر لایه ده خطای جداگانه در نظر گرفته بود. مقاله مثالی هم می‌آورد که در آن پاسخ به‌درستی به شواهد متکی است، اما عامل از مسیر غیرمجاز به آن رسیده؛ موردی که آزمون مسیر اجرا می‌تواند پوشش دهد.
نویسندگان تأکید می‌کنند این نتایج فقط میزان پوشش مجموعهٔ آزمون رگرسیونِ طراحی‌شده را نشان می‌دهد و معیاری برای دقت در محیط تولید نیست. مقاله همچنین پروتکلی برای اعتبارسنجی با ردپاهای محیط واقعی، ادغام اختیاری داور زبانی و به‌روزرسانی انتظارات با تغییر گردش‌کارها پیشنهاد می‌کند. این پیش‌چاپ برای انتشار در کنفرانس بین‌المللی رایانه و کاربردها در سال ۲۰۲۶ پذیرفته شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده