آزمایش مدل‌های چندوجهی پزشکی: یافته‌های پوستی را در ۴۵ تا ۵۷٫۵ درصد موارد اشتباه گزارش کردند

یک پیش‌چاپ در arXiv بنچمارکی به نام Trick-or-Treat معرفی می‌کند که برای آشکار کردن خطاهای مدل‌های چندوجهی در استدلال پزشکی طراحی شده است. این ارزیابی، رادیوگرافی واقعی قفسهٔ سینه را با عکس‌های بالینی مصنوعی کنار هم می‌گذارد؛ ترکیبی که به گفتهٔ پژوهشگران در مجموعه‌داده‌های پزشکی موجود کمتر دیده می‌شود.

در هر جفت همخوان، هر دو تصویر یافته‌هایی را نشان می‌دهند که به یک بیماری اشاره دارند. در جفت ناهمخوان، عکس بالینی یافته‌ای متفاوت دارد و با رادیوگرافی به یک تشخیص واحد نمی‌رسد. برای نمونه، پژوهشگران در یک مثال ضایعات ریوی را با نشانه‌های پوستی آبله‌مرغان جفت کردند و در نمونهٔ ناهمخوان، ضایعات پوستی را با آکنهٔ معمولی جایگزین کردند. تصاویر مصنوعی امکان تغییر یافته‌های بالینی را فراهم می‌کنند، در حالی که ویژگی‌های فرد و محیط عکس ثابت می‌ماند.

در بررسی سه مدل پیشرفته، این مدل‌ها در ۴۵ تا ۵۷٫۵ درصد جفت‌های ناهمخوان، یافته‌های بالینی مهمی را در عکس‌ها به‌اشتباه گزارش کردند. این میزان برای همان عکس‌ها، وقتی به‌تنهایی نمایش داده می‌شدند، ۲۵ تا ۳۷٫۵ درصد بود. به‌گزارش پژوهشگران، مدل‌ها اغلب ناسازگاری را نادیده گرفتند و عکس را طوری تفسیر کردند که با رادیوگرافی جور دربیاید؛ مثلاً آکنه را با ضایعات پوستی آبله‌مرغان اشتباه گرفتند.

نویسندگان می‌گویند این کار هم الگویی نگران‌کننده از خطا در استدلال پزشکی مدل‌ها را نشان می‌دهد و هم امکان استفاده از تصاویر مصنوعی را برای ارزیابی خصمانهٔ سامانه‌های چندوجهی به نمایش می‌گذارد. یافته‌ها در یک پیش‌چاپ منتشر شده‌اند.