هوش مصنوعی
پژوهشگران: هستی‌شناسیِ گراف دانش ممکن است پاسخ درست عامل‌های زبانی را هم رد کند
پیش‌چاپی در arXiv بررسی می‌کند که هستی‌شناسی‌های تدوین‌شده، تولیدشده با مدل زبانی یا استخراج‌شده از داده‌ها تا چه اندازه داور قابل‌اعتمادی برای عامل‌های LLM هستند.
پژوهشگران در پیش‌چاپی در arXiv اعتبار هستی‌شناسی‌ها را به‌عنوان ابزار ارزیابی پاسخ عامل‌های مدل زبانی در گراف‌های دانش بررسی می‌کنند. فرض رایج این است که طرح‌وارهٔ رسمیِ گراف می‌تواند پاسخ‌ها را قابل‌اعتماد ارزیابی کند؛ اما خودِ بررسی‌گر هم ممکن است خطا کند: پاسخ نادرست را تشخیص ندهد یا پاسخ درست را رد کند و عامل را به اصلاح آن وادارد.
این مطالعه هستی‌شناسی‌های تدوین‌شده، تولیدشده با LLM و استخراج‌شده از داده‌ها را در سه نقش می‌سنجد: به‌عنوان زمینهٔ پرامپت، ابزار بررسی پاسخ یا هر دو. ارزیابی روی عامل‌های متن‌باز و اختصاصی، گراف‌های عمومی و یک گراف خصوصی با نزدیک به یک میلیارد سه‌تایی انجام شده است. چکیدهٔ در دسترس، جزئیات نتایج را بیان نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗