هوش مصنوعی
پژوهشگران تصمیم مدل‌های زبانی برای جست‌وجو را با ۴۰۰ پرسش می‌سنجند
یک پیش‌چاپ تازه، پرسش‌هایی را کنار هم می‌گذارد که باید از حافظه پاسخ داده شوند و پرسش‌هایی دربارهٔ خبرهای پس از زمان آموزش مدل؛ دستهٔ دوم باید به جست‌وجو یا، در نبود ابزار، به خودداری از پاسخ منجر شود.
دستیارهای زبانیِ مجهز به ابزار باید بارها تصمیم بگیرند از حافظهٔ داخلی پاسخ دهند یا سراغ ابزاری مانند جست‌وجوی وب بروند. جست‌وجوی بی‌مورد زمان و هزینه می‌برد؛ جست‌وجو نکردن هم می‌تواند به پاسخی مطمئن اما بی‌پشتوانه بینجامد.
نویسندگان این پیش‌چاپ می‌گویند پژوهش‌های پیشین بیشتر اعتمادبه‌نفسِ بیان‌شدهٔ مدل‌ها یا روش‌های تازهٔ بازیابی تطبیقی را بررسی کرده‌اند و کمتر تصمیم‌های جست‌وجوی محصولاتِ درحال‌استفاده را سنجیده‌اند. آن‌ها برای بررسی این رفتار، بنچمارکی با ۴۰۰ پرسش چندگزینه‌ای ساخته‌اند: پرسش‌های «دانش درونی» دربارهٔ اطلاعات شناخته‌شده که باید مستقیم پاسخ داده شوند، و پرسش‌های «دانش بیرونی» دربارهٔ واقعیت‌های گزارش‌شده در خبرهای منتشرشده پس از تاریخ قطع آموزش مدل‌ها ــ تا جایی که نویسندگان می‌دانند ــ که باید جست‌وجو را فعال کنند یا، در نبود ابزار، به خودداری از پاسخ بینجامند. در هر پرسش گزینهٔ خودداری از پاسخ نیز وجود دارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده