هوش مصنوعی

GraphRail خطاهای میانی عامل‌های جست‌وجو را بدون پاسخ طلایی می‌سنجد

این روش ادعاها و شواهد را به‌صورت ساختاریافته مقایسه می‌کند تا مشخص شود شواهد به پرسش مربوط‌اند و استدلال به شواهد تکیه دارد یا نه.

۱ دقیقه مطالعه
Figure 1: An unsupported intermediate claim can influence subsequent retrieval and reasoning. Final-answer evaluation alone does not reveal when the trajectory loses evidence.
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پژوهشگران در پیش‌چاپی در arXiv، GraphRail را معرفی کرده‌اند؛ روشی برای بررسی گام‌به‌گام سیستم‌های استدلالِ متکی به جست‌وجو. این سیستم‌ها ممکن است به پاسخ نهایی درست برسند، اما در مراحل میانی خطا کنند. GraphRail سه رابطه را می‌سنجد: آیا شواهد پرسش را پوشش می‌دهند، آیا استدلال به پرسش پاسخ می‌دهد و آیا استدلال بر شواهد موجود تکیه دارد.

GraphRail نیازمندی‌ها، شواهد و استدلال را به ادعاهای ساختاریافته تبدیل و با هم مقایسه می‌کند؛ به داور مولد یا پاسخ طلایی نیاز ندارد. بنا بر چکیدهٔ پژوهش، این روش در سه معیار پرسش‌وپاسخ چندمرحله‌ای و سه چارچوب استدلال، خطاهای بیشتری از راستی‌آزماهای مولد شناسایی کرده و در برابر نوسان استخراج اطلاعات پایدار مانده است. پژوهشگران می‌گویند تشخیص‌های آن می‌تواند به اصلاح خطاهای میانی هنگام اجرای استدلال نیز کمک کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست