هوش مصنوعی
LatentTriad خطر مهارت‌های مخرب عامل‌های هوش مصنوعی را پیش از اجرا می‌سنجد
پژوهشگران در یک پیش‌چاپ arXiv روشی معرفی کرده‌اند که با بررسی حالت‌های پنهان مدل هنگام پردازش ورودی، ناسازگاری میان وظیفهٔ کاربر و عملیات پیشنهادی یک مهارت را ارزیابی می‌کند.
عامل‌های مبتنی بر مدل‌های زبانی بزرگ می‌توانند از مهارت‌های قابل‌استفادهٔ مجدد بهره ببرند؛ اما محتوای نامطمئن این مهارت‌ها ممکن است آن‌ها را به انجام کارهایی بیرون از خواستهٔ کاربر سوق دهد. نویسندگان پیش‌چاپ می‌گویند تشخیص این خطر با جست‌وجوی صرفِ الگوهای مشکوک کافی نیست و تحلیل پویا نیز مستلزم اجرای مهارت است.
پژوهشگران گزارش می‌کنند که حالت‌های پنهان مدل در مرحلهٔ prefill اطلاعاتی دربارهٔ سازگاری وظیفه و عملیات در خود دارند؛ این اطلاعات در ارزیابی‌های کنترل‌شده، حتی برای صورت‌بندی‌هایی که در آموزش دیده نشده بودند، قابل‌خواندن بود. همچنین مداخله در حالت‌های مربوط به عملیات بر حالت‌های بعدیِ مرزبندی اثر گذاشت و خروجی ثابتِ ارزیابی خطر را به‌سمت برچسبِ نمونهٔ اهداکننده تغییر داد.
بر پایهٔ این یافته‌ها، آن‌ها LatentTriad را معرفی می‌کنند؛ روشی که ویژگی‌های زمینه‌ایِ Boundary، جهت‌های Operation تعدیل‌شده بر اساس گروه و انحراف‌ها از… را ترکیب می‌کند. چکیدهٔ در دسترس در همین نقطه ناتمام است و جزئیات کامل روش یا نتایج آن را ارائه نمی‌دهد. این مقاله نسخهٔ نخست یک پیش‌چاپ در arXiv است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده