مرور پژوهش‌ها دربارهٔ تفسیرپذیری مکانیکی: آیا فهم سازوکار مدل‌ها واقعاً آن‌ها را ایمن‌تر می‌کند؟

گروهی از پژوهشگران در پیش‌چاپی در arXiv، وضعیت تفسیرپذیری مکانیکی را در پیوند با ایمنی هوش مصنوعی بررسی کرده‌اند. این حوزه می‌کوشد با مطالعهٔ بازنمایی‌ها و محاسبات درونی مدل‌ها، رفتار آن‌ها را ارزیابی، پیش‌بینی و کنترل‌پذیرتر کند. پرسش محوری مرور این است که آیا فهمیدن چگونگی کار مدل‌ها، واقعاً ایمنی آن‌ها را افزایش می‌دهد.

نویسندگان مبانی این حوزه، از جمله ویژگی‌ها، چندمعنایی‌بودن بازنمایی‌ها، محاسبات ترنسفورمر و مدارهای درونی را شرح می‌دهند. آن‌ها همچنین روش‌های استخراج و تحلیل ویژگی‌ها، کشف مدارها و راستی‌آزمایی علّی، توضیح بازنمایی‌های میانی با زبان طبیعی، بررسی پویایی یادگیری و نسبت‌دادن رفتارها به داده‌های آموزشی را مرور می‌کنند. مقاله تفسیرپذیری مکانیکی را در کنار دیگر رویکردهای تفسیرپذیری می‌سنجد و شواهد مکانیکی را با ارزیابی رفتاری مقایسه می‌کند.

مرور، چارچوبی یکپارچه برای ارزیابی ادعاهای این حوزه پیشنهاد می‌دهد و شش جهت‌گیری پژوهشی را بر اساس هدف‌ها، فرض‌ها و مصالحه‌هایشان توصیف می‌کند. همچنین کاربردهای احتمالی فهم سازوکار مدل‌ها، از جمله ویرایش دانش، هدایت رفتار و پایش را بررسی می‌کند و به محدودیت‌ها، موارد شکست و مسائل حل‌نشده می‌پردازد. نویسندگان در کنار مقاله، مجموعه‌ای از دفترچه‌های کد با مثال‌های عملی منتشر کرده‌اند که یافته‌های منتخب روش‌های مرورشده را بازتولید می‌کنند.