روش TACT تحلیل هزاران پاسخ کیفی با کمک هوش مصنوعی را قابل‌ردیابی می‌کند

تحلیل دقیق هزاران پاسخ کیفی زمان و تخصص می‌خواهد؛ مسئله‌ای که به‌گفتهٔ نویسندگان پژوهش، تیم‌های نرم‌افزاری را گاهی میان کنارگذاشتن پاسخ‌ها و پذیرفتن بی‌چون‌وچرای برداشت یک مدل زبانی بزرگ قرار می‌دهد. آن‌ها در مقاله‌ای در arXiv روش TACT، کوتاه‌شدهٔ Traceable AI Council for Thematic analysis، را برای تحلیل موضوعی در مقیاس بزرگ معرفی کرده‌اند؛ روشی که هدفش کمک به تحلیل است، نه واگذاری کامل تفسیر و قضاوت به هوش مصنوعی.

TACT دو گونه دارد: TACT-Lite، شامل سازوکار اصلی «شورای هوش مصنوعی»، و TACT-Full که مدل‌هایی از خانواده‌های دیگر را برای نقد خروجی‌ها اضافه می‌کند و با یک مدل تصمیم‌گیری، مواردی را که انتساب کد در آن‌ها عدم‌قطعیت بالایی دارد مشخص می‌سازد.

پژوهشگران روش را روی مجموعه‌ای مستقل شامل ۲۵۶ گفت‌وگوی Stack Overflow ارزیابی کردند که پژوهشگران دیگری آن‌ها را به‌صورت کیفی کدگذاری کرده بودند. در مقایسه با برچسب‌های آن مجموعه، امتیاز F1 دفترچهٔ کد پیشنهادی TACT بین ۰٫۷۵ تا ۰٫۷۷ و امتیاز کدگذاری نهایی آن بین ۰٫۷۱ تا ۰٫۷۲ بود. در نمونه‌ای جداگانه که کنار گذاشته شده بود، توافق میان کدگذاری دستی نویسندگان و کدگذاری TACT بر اساس معیار Cohen’s κ بین ۰٫۷۹ تا ۰٫۸۵ گزارش شد.

هزینهٔ فراخوانی مدل‌ها برای هر ۱۰۰ گفت‌وگو، در TACT-Lite برابر ۱۳٫۷۷ دلار و در TACT-Full برابر ۳۳٫۵۹ دلار بود. نویسندگان همچنین بر پایهٔ تجربهٔ ساخت و اعتبارسنجی این روش، دام‌های تحلیل کیفی با هوش مصنوعی، راهکارهای محافظتی و توصیه‌هایی برای کاربرد آن را شرح داده‌اند. این مقاله پیش‌چاپ است و در arXiv منتشر شده است.