ویژگی‌های ساده در تشخیص کدهای دست‌کاری‌شده از ۲۰ مانیتور هوش مصنوعی بهتر عمل کردند

پژوهشگران در پیش‌چاپی با عنوان «Simple Features Beat Most AI Control Monitors» عملکرد روش‌های تشخیص کدهای صادقانه از کدهای دارای درِ پشتی را بررسی کرده‌اند. در مجموعه‌دادهٔ استاندارد این ارزیابی، ویژگی‌های ساده‌ای که نیازی به اجرای کد ندارند، از ۲۰ مورد از ۲۴ مدل با وزن‌باز که به‌عنوان مانیتور استفاده شده بودند بهتر عمل کردند.

به‌گفتهٔ پژوهشگران، برچسب‌های مجموعه‌داده از دو راه قابل حدس‌زدن‌اند: راه‌حل‌های صادقانه را انسان‌ها نوشته‌اند، اما درِ پشتی‌ها را مدل‌های زبانی قدیمی‌تر ساخته‌اند؛ بنابراین سبک کدنویسی می‌تواند کلاس کد را آشکار کند. همچنین، مسئله‌هایی که مدل‌های زبانی می‌توانند در آن‌ها درِ پشتی بگذارند، ویژگی‌های متفاوتی دارند و اطلاعات پایه دربارهٔ خود مسئله هم به تشخیص کمک می‌کند.

چکیدهٔ در دسترس می‌گوید جایگزین‌کردن جداگانهٔ هر کلاس با کد تولیدشده به‌وسیلهٔ Claude Sonnet 5 نشان می‌دهد این ویژگی‌ها از تقابل میان دو کلاس سود می‌برند؛ اما متن ارائه‌شده جزئیات بیشتری دربارهٔ این آزمون بیان نمی‌کند.