هوش مصنوعی

چه زمانی ویرایش هدایت‌گر یک مدل زبانی باید به ورودی وابسته باشد؟

پیش‌چاپی در arXiv می‌گوید پاسخ به این پرسش به تغییر مقصد درون هر کلاسِ درخواستی بستگی دارد و می‌توان این تغییرپذیری را پیش از طراحی یا اجرای قاعده سنجید.

۱ دقیقه مطالعه

این پژوهش تفاوت میان ویرایش ثابت و ویرایش وابسته به ورودی را بررسی می‌کند. در روش Contrastive Activation Addition (CAA)، یک جهت ثابت ــ اختلاف میانگینِ حالت‌های دو کلاس ــ به همهٔ ورودی‌ها افزوده می‌شود. نویسندگان می‌گویند وابسته‌کردن ویرایش به کلاس درخواستی، تغییرات میان کلاس‌ها را در جابه‌جایی لازم در نظر می‌گیرد؛ اما تغییرات درون هر کلاس را دست‌نخورده می‌گذارد. قاعده‌ای که فقط حالت مبدأ را می‌خواند، از نظر آن‌ها قادر به بیان این تغییرات درون‌کلاسی نیست.

نویسندگان اثر افزایش وابستگی ویرایش به ورودی را می‌سنجند: از اختلاف میانگین‌ها تا بازیابی مقصد برای هر پرس‌وجو. در روش دوم، مقصد میانگینِ حالت‌های ذخیره‌شده‌ای است که به پرس‌وجو نزدیک‌ترند و در کلاس درخواستی قرار دارند. چکیدهٔ در دسترس جزئیات نتایج این ارزیابی را بیان نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست