پژوهش: متن دستورالعمل‌های رتبه‌بندی رتینوپاتی دیابتی همیشه برای هر بیمار یک طبقه تعیین نمی‌کند

پژوهشی پیش‌چاپ در arXiv چهار متن دربارهٔ درجه‌بندی رتینوپاتی دیابتی را با یک زبان قواعد مشترک بررسی کرده است: تعریف‌های انگلیسی غربالگری در سال ۲۰۲۵، جدول مقیاس بین‌المللی در سال ۲۰۱۷، نسخهٔ منتشرشدهٔ همان مقیاس در سال ۲۰۰۳ و راهنمای ایتالیایی سال ۲۰۱۵. پژوهشگران این متن‌ها را بر پایهٔ ۲۴ متغیر مربوط به یافته‌های چشمی صورت‌بندی کردند و با بررسی جامع ۱٬۴۲۵٬۸۰۷٬۳۶۰ ترکیب ممکن، مواردی را که متن درباره‌شان حکمی روشن نمی‌دهد مشخص کردند. نتیجه با SMT solver دوباره به‌دست آمد و با OWL reasoner نیز به‌صورت موردی بررسی شد.

به‌گزارش پژوهش، هر متنی که برای بیمار اقدام بالینی تعیین می‌کند، در برخی حالت‌ها چشم را در هیچ طبقه‌ای جای نمی‌دهد؛ این نتیجه با تفسیرهای مختلف از بخش‌های مبهم متن نیز تغییر نکرد. در خوانش لفظی، طبقهٔ «تکثیری» در جدول سال ۲۰۱۷ خالی می‌ماند و این جدول در مقایسه با متن سال ۲۰۰۳ یک شکاف مربوط به ماکولا دارد؛ بنابراین، نگاشت هر درجه در نسخهٔ ۲۰۰۳ به درجه‌ای در نسخهٔ ۲۰۱۷ ممکن نیست. همچنین، متن انگلیسی و راهنمای ایتالیایی بر پایهٔ یافته‌های تصویری، بعضی جفت‌های چشم را به ترتیب‌های معکوس رتبه‌بندی می‌کنند.

در بررسی ۹۲۷ عکس حاشیه‌نویسی‌شده از سه مجموعه‌دادهٔ عمومی، پژوهشگران با فرض نبود ضخیم‌شدگی شبکیه، اختلاف متن انگلیسی و جدول ۲۰۱۷ را در تصمیم ارجاع برای ۲۶٫۸ درصد چشم‌های مجموعهٔ DDR گزارش کردند؛ این درصد فقط برای چشم‌هایی محاسبه شده که هر دو متن درباره‌شان تصمیم می‌گرفتند. ضخیم‌شدگی را نمی‌توان از عکس رنگی دید. اگر وضعیت آن نامشخص گذاشته شود، اختلاف‌هایی که متن انگلیسی در آن‌ها نقش دارد تعیین‌ناپذیر می‌شوند؛ بنابراین نتیجه به فرضی دربارهٔ چیزی وابسته است که دوربین نشان نمی‌دهد.

در یک آزمایش از پیش ثبت‌شده، طبقه‌بندهایی که با برچسب‌های هر متن آموزش دیده بودند، در ارزیابی با همان متن همسو عمل کردند. آزمایش دیگری نشان داد مدل‌های زبانی، حتی با دستور به خواندن لفظی، اغلب شکاف‌ها و هم‌پوشانی‌های دستورالعمل‌ها را بی‌صدا اصلاح می‌کردند. Claude Sonnet 5.5 و Claude Opus 5.5 این نقص‌ها را بسیار بیشتر گزارش کردند؛ در دو مدل نیز deliberation ترمیم پنهان را کاهش داد، اما از میان نبرد.