ارزیابی GPT، Gemini و Claude برای تحلیل کیفی تجربهٔ بیماران مبتلا به اختلال شخصیت مرزی

پژوهشگران در مطالعه‌ای که در arXiv منتشر شده، بررسی کرده‌اند که GPT از OpenAI، Gemini از Google و Claude از Anthropic تا چه اندازه می‌توانند از تحلیل کیفی مصاحبه‌های مربوط به زندگی بیماران بستری مبتلا به اختلال شخصیت مرزی پشتیبانی کنند. مبنای کار، تحلیل موضوعیِ انجام‌شده به‌دست انسان‌ها روی بیش از ۱۵۰ هزار واژه از این مصاحبه‌ها بوده است.

در بخش نخست، داورانِ آگاه و ناآگاه از منشأ محتوا، خروجی‌های تولیدشده با هوش مصنوعی را ارزیابی کردند. معیارها شامل هم‌خوانی معنایی، ضریب Jaccard و سنجش چندبُعدی اعتبار بود؛ از جمله باورپذیری، انسجام، عمق یافته‌ها و اتکای آن‌ها به داده‌های کیفی. چکیدهٔ منبع به بخش دومی با عنوان Study B نیز اشاره می‌کند، اما متن موجود پیش از توضیح روش و نتایج آن ناتمام می‌ماند؛ بنابراین از اطلاعات ارائه‌شده نمی‌توان دربارهٔ عملکرد مدل‌ها نتیجه‌گیری کرد.