تشخیص شکاف در حین استدلال، دقت سامانه‌های چندعاملی پزشکی را افزایش داد

مدل‌های زبانی بزرگ در پرسش‌وپاسخ پزشکی استاندارد عملکرد خوبی دارند، اما در مسائل دشوارتر افت می‌کنند؛ در این مسائل، بحث میان چند عامل نیز همیشه از یک مدل قوی با راهنمایی مناسب بهتر نیست. نویسندگان پیش‌چاپی در arXiv استدلال می‌کنند یکی از علت‌ها این است که سامانه‌های موجود معمولاً متخصصان و منابع را فقط بر اساس خود پرسش انتخاب می‌کنند، نه بر پایهٔ خلأهای اطلاعاتی که در جریان استدلال پدیدار می‌شوند.

روش پیشنهادی آن‌ها از یک عامل بیرونی به نام CHALLENGER استفاده می‌کند که مسیر استدلال در حال شکل‌گیری را بررسی می‌کند و شکاف‌های مشخص دانشی یا تخصصی را تشخیص می‌دهد. سپس سامانه می‌تواند اطلاعات مرتبط را بازیابی کند یا در میانهٔ گفت‌وگو متخصصی را به جمع اضافه کند.

در بخش دشوار MEDAGENTSBENCH، شامل ۸۶۲ پرسش از ۹ مجموعه‌دادهٔ زیست‌پزشکی، بازیابی اطلاعات پیش از آغاز استدلال سود اندکی داشت؛ بازیابی هدفمند در میانهٔ فرایند بهتر عمل کرد. این روش در یک سامانهٔ چندمتخصصی دقت را در ۸ مجموعه‌داده از ۹ مجموعه افزایش داد و نسبت به حالت «فقط CHALLENGER» شش واحد درصد بهبود ثبت کرد. آزمایش جست‌وجوی زنده در وب نیز نشان داد مزیت زمان‌بندی بازیابی با تغییر زیرساخت بازیابی پابرجا می‌ماند.

در بخش جذب متخصص، سازگاری خودکار و بدون راهنمایی قابل اتکا نبود. اما وقتی CHALLENGER فراخواندن متخصص را هدایت کرد، دقت GPT-4.1-mini در MedQA از ۴۶ به ۵۴ درصد رسید و جهت تغییر در همهٔ مجموعه‌های تعمیم‌یابی آزموده‌شده مثبت بود. بااین‌حال، ترکیب سادهٔ بازیابی اطلاعات و جذب متخصص عملکرد را کاهش داد؛ نتیجه‌ای که به گفتهٔ پژوهشگران، بر لزوم هماهنگ‌کردن این دو نوع مداخله تأکید می‌کند.

این مقاله در arXiv منتشر شده و در متن منبع به‌عنوان پیش‌چاپ معرفی شده است.