هوش مصنوعی

پژوهشگران روشی برای شناسایی آسیب در محیط‌های تعاملی با کمک مدل زبانی پیشنهاد کردند

این روش به داور هوش مصنوعی امکان می‌دهد وضعیت محیط را بخواند و با استفاده از طبقه‌بندی آسیب، نشانه‌های زیان را بررسی کند.

۱ دقیقه مطالعه
Figure 1: An illustrative example, not drawn from our corpora. The agent sends the requested deck to the requested group, so the trajectory reads as a routine internal email and the trajectory judge returns no harm. The
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشی تازه در arXiv می‌گوید ارزیابی ایمنی عامل‌های فعال در محیط‌های تعاملی معمولاً یا ردِ کارها و گفته‌های عامل را بررسی می‌کند یا وضعیت نهایی محیط را با آزمون‌های ازپیش‌تعیین‌شده می‌سنجد؛ هر روش نیز بخشی از آسیب‌های احتمالی را پوشش می‌دهد.

نویسندگان برای گسترش این پوشش، داوری مبتنی بر مدل زبانی را پیشنهاد کرده‌اند که دسترسی فقط‌خواندنی به وضعیت محیط دارد و با یک طبقه‌بندی آسیب، آن را ارزیابی می‌کند. به گفتهٔ چکیده، پیش‌تر از ابزارهای مشابه برای تأیید انجام وظیفه استفاده شده بود، نه برای شناسایی و تأیید آسیب در ارزیابی ایمنی.

این رویکرد در سه محیط آزمایش شده است: دو محیط از DecodingTrust-Arena و یکی از OSWorld. چکیدهٔ در دسترس جزئیات نتایج را بیان نمی‌کند و متن آن نیز پیش از توضیح کامل روش ارزیابی قطع می‌شود.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست