آزمون ارزیابی‌گران زبانی نشان می‌دهد حذف پیوندهای سوابق، بررسی اعتبار اسناد را دشوار می‌کند

پژوهشگران در پیش‌چاپی در arXiv بررسی کرده‌اند که ارزیاب‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) هنگام سنجش اعتبار روزآمد اسناد، واقعاً چه چیزی را راستی‌آزمایی می‌کنند. آزمون آن‌ها با استفاده از جدول جایگزینی اسناد، پاسخ‌هایی را می‌سنجد که به سند جایگزین‌شده، جانشین آن، نسخهٔ قدیمی پیش از جایگزینی یا سند قدیمی‌تری ارجاع می‌دهند که سند تازه‌تری آن را به‌روزرسانی کرده، اما جایگزینش نکرده است. پژوهشگران سپس بعضی پیوندها را از سابقه حذف و هر ارزیابی را بر اساس دلیلی که مدل ذکر کرده، امتیازدهی کردند.

در ۴۸ مورد جایگزینی از نمایهٔ RFCهای IETF، ارزیاب‌هایی که به سابقهٔ درست دسترسی داشتند تقریباً همهٔ ارجاع‌های جایگزین‌شده را تشخیص دادند؛ نتیجه‌ای که پژوهشگران آن را شبیه پاسخ‌گویی صرفاً با مراجعه به سابقه توصیف می‌کنند. اما در ۲۴ موردی که پیوند مربوط از سابقه حذف شده بود، همهٔ ارزیاب‌های بررسی‌شده با تکیه بر متن به موارد بیشتری پی بردند تا با استفاده از سابقهٔ ناقص. برای نمونه، Gemini 3.1 Pro با اتکا به متن ۲۳ مورد از ۲۴ مورد را تشخیص داد، در برابر یک مورد با سابقه؛ ارقام GPT-5.5 نیز به‌ترتیب ۲۳ از ۲۴ و ۹ از ۲۴ بود. چکیدهٔ در دسترس، نتیجهٔ Claude را کامل ارائه نمی‌کند.