هوش مصنوعی

پژوهشگران چارچوب مهندسی قابلیت اطمینان را برای سامانه‌های هوش مصنوعی پیشنهاد کردند

پیش‌چاپی در arXiv می‌گوید دقت میانگین در بنچمارک‌ها، به‌تنهایی، نشان نمی‌دهد سامانهٔ هوش مصنوعی در شرایط واقعی چقدر قابل اتکاست؛ پژوهش از روش‌های مهندسی قابلیت اطمینان برای ارزیابی گسترده‌تر این سامانه‌ها استفاده می‌کند.

۲ دقیقه مطالعه
Figure 1: Reliability of AI as a lifecycle discipline: from defining failures and mapping the operational envelope, through metrics and testing, to monitoring, response, mitigation, and governance – so failures remain de
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپ «مهندسی قابلیت اطمینان برای سامانه‌های هوش مصنوعی: چالش‌ها، روش‌ها و مسیرهای آینده» استدلال می‌کنند که سنجش اتکاپذیری هوش مصنوعی باید به عملکرد درست سامانه در بازه‌ای مشخص و تحت شرایط عملیاتی تعریف‌شده بپردازد. در سامانه‌های خودمختار، این ارزیابی فقط به درست‌بودن خروجی محدود نیست: بازیابی اطلاعات، حافظه، استفاده از ابزارها، مجوزها، نظارت انسانی و تعامل میان سامانه‌ها نیز باید پیوسته و ایمن عمل کنند. در هوش مصنوعی مولد، فرایند استدلال منتهی به خروجی هم بخشی از این ارزیابی است.

مقاله روش‌های جاافتادهٔ مهندسی قابلیت اطمینان، از تعریف خرابی و محدودهٔ عملیاتی تا تحلیل حالات خرابی و آثار آن‌ها (FMEA)، آزمون شتاب‌یافته، پایش میدانی و بهبود قابلیت اطمینان را به هوش مصنوعی تعمیم می‌دهد. چارچوب تشخیصی چهار سطح خرابی را از هم جدا می‌کند: خرابی مؤلفه، حلقهٔ عملیاتی، رفتار عامل‌محور و شبکه و حکمرانی.

نویسندگان همچنین به آزمون، ارزیابی، راستی‌آزمایی و اعتبارسنجی (TEVV)، پایش پی‌درپی و سامانهٔ FRACAS برای تولید و به‌روزرسانی شواهد اشاره می‌کنند. چارچوب SMART راهنمای آماری سنجش، تحلیل، ارزیابی و برنامه‌ریزی آزمون است و چارچوب مدیریت ریسک هوش مصنوعی NIST راهنمای سازمانی حکمرانی، ارزیابی، پایش و کاهش ریسک را فراهم می‌کند. سه نمونهٔ موردی نیز در مقاله بررسی شده‌اند.

جمع‌بندی نویسندگان این است که اصول مهندسی قابلیت اطمینان می‌تواند پایه‌ای کاربردی برای ارزیابی هوش مصنوعی باشد، اما با توجه به سرعت بالای تکامل این سامانه‌ها، به سنجه‌های تازه و حفاظ‌های ایمنی جدید نیاز است. این مقاله پیش‌چاپی در arXiv است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست