اتصال مدل‌های زبانی به گراف دانش، توهم را در همهٔ مدل‌های آزموده‌شده کاهش داد

پژوهشی تازه در arXiv می‌گوید متصل‌کردن مدل‌های زبانی بزرگ به گراف‌های دانش، نرخ پاسخ‌های ساختگی را در همهٔ مدل‌های ارزیابی‌شده کاهش می‌دهد. در این مطالعه، GPT-5.1، Gemini 2.0 Pro، Llama 3، Qwen و BioGPT در دو وضعیتِ متکی به گراف دانش و بدون اتکا به آن بررسی شدند.

پژوهشگران آزمون چندسطحی خود را روی پنج گراف اجرا کردند: DrugBank، NeuroSynth، Cognitive Atlas، Brain Map و GDPKG. نتایج نشان داد مدل‌های عمومی، به‌ویژه GPT-5.1 و Gemini 2.0 Pro، عموماً در استدلال‌های چندمرحله‌ای و سطح‌بالا از مدل‌های تخصصی بهتر عمل می‌کنند؛ بااین‌حال، عملکرد مدل‌ها با افزایش پیچیدگی پرسش افت می‌کند. مدل‌های تخصصی نیز بدون اتصال به گراف، در وظایف تخصصی به‌طور پیوسته برتری نداشتند.

توافق ارزیابان در برچسب‌گذاری پاسخ‌ها قابل‌توجه بود: کاپای کوهن ۰٫۷۸۱ گزارش شد و دامنهٔ آن ۰٫۷۵۳ تا ۰٫۸۰۷ بود؛ کاپای فلیس نیز ۰٫۷۷ بود. نویسندگان می‌گویند یافته‌ها بر ارزش ترکیب توانایی‌های گستردهٔ مدل‌های زبانی با دانش ساختاریافته تأکید دارد و دربارهٔ انتخاب روش‌های اتصال مدل و گراف، با توجه به پیچیدگی کار و محدودیت محاسباتی، راهنمایی ارائه می‌کند.