هوش مصنوعی
SearchInject مواجههٔ مدل‌های زبانی با تزریق پرامپت غیرمستقیم را کاهش می‌دهد
این روش پیش از ورود صفحه‌های بازیابی‌شده به بافت مدل، احتمال دست‌کاری را می‌سنجد؛ در ارزیابی روی SciFact، مواجههٔ هدف در سه بازیاب به‌شدت کاهش یافت.
پژوهشگران در پیش‌چاپی با نام SearchInject روشی برای کنترل ورود صفحه‌های مشکوک به بافت مدل‌های زبانیِ متصل به جست‌وجو معرفی کرده‌اند. تزریق پرامپت غیرمستقیم زمانی می‌تواند بر مدل اثر بگذارد که صفحهٔ حامل دستور مخرب در اختیار مدل قرار بگیرد؛ SearchInject همین مرحلهٔ پذیرش را کنترل می‌کند.
این روش امتیازی ترکیبی بر پایهٔ ارتباط نتیجه با جست‌وجو، نشانه‌های سوءاستفاده از جست‌وجو، احتمال وجود دستور و دو تعامل مرتبط با میزان ارتباط محاسبه می‌کند. آستانهٔ قرنطینه نیز در مرحلهٔ کالیبراسیون طوری انتخاب شده که نرخ تجربی قرنطینهٔ اشتباهِ نامزدهای سالم از ۰٫۵ درصد بیشتر نشود.
ارزیابی پژوهش روی ۳۰۰ پرس‌وجوی نگه‌داشته‌شده از SciFact و دسته‌های حمله‌ای انجام شده که در چهار خانوادهٔ ساختِ نمونه‌ها، پیش‌تر در فرایند توسعه حضور داشتند. بر اساس ۱۲۰۰ نتیجهٔ پرس‌وجو-خانواده برای هر بازیاب، سهم مواجههٔ هدف در میان ده نتیجهٔ نخست برای BM25 از ۰٫۹۴۰۸ به ۰٫۱۵۸۳ و برای بازیاب ترکیبیِ نرمال‌شده از ۰٫۹۱۵۸ به ۰٫۱۵۰۸ رسید. چکیدهٔ در دسترس، مقدار مربوط به بازیاب سوم را کامل نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده