هوش مصنوعی
RiskyPy پرامپت‌های سنجش امنیت و کارکرد کدهای تولیدشده با هوش مصنوعی را با توان مدل تنظیم می‌کند
این خط لولهٔ خودکار برای Python، مجموعه‌ای شامل ۱۰۱ پرامپت ساخته که توانایی مدل‌ها را هم در انجام درست وظیفه و هم در پرهیز از آسیب‌پذیری می‌سنجد.
پژوهشگران در پیش‌چاپی در arXiv، RiskyPy را معرفی کرده‌اند؛ خط لوله‌ای خودکار برای تولید مجموعه‌داده‌های ارزیابی کد که سطح دشواری آن‌ها با توانایی مدل مورد بررسی تنظیم می‌شود. به‌گفتهٔ پژوهشگران، بنچمارک‌های موجود پرهزینه‌اند و معمولاً با دامنهٔ توانایی مدل مشخصی کالیبره نشده‌اند؛ همچنین ارزیابی امنیت کد به‌تنهایی نشان نمی‌دهد مدل از پسِ کارکرد مورد انتظار هم برمی‌آید یا نه.
RiskyPy از «canary»های کارکردی و آسیب‌پذیری برای تنظیم پرامپت‌ها استفاده می‌کند تا هم امنیت و هم کارکرد کد سنجیده شود. پژوهشگران این روش را برای Python پیاده‌سازی کرده‌اند: مجموعهٔ حاصل ۱۰۱ پرامپت دارد و حوزه‌هایی را پوشش می‌دهد که با ۱۸ مورد از آسیب‌پذیری‌های فهرست CWE Top 25 در سال ۲۰۲۵ مرتبط‌اند. در آزمایش با Qwen3-4B و Seed-Coder-8B، وظایف تولیدشده از نظر کارکردی برای مدل‌ها دست‌یافتنی باقی ماندند؛ چکیدهٔ در دسترس می‌گوید ۵۷ تا ۷۲ درصدِ پرامپت‌ها، اما جمله پیش از مشخص‌کردن دقیقِ مورد اندازه‌گیری‌شده قطع شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده