اعتماد به هوش مصنوعی همیشه دقت تصمیم‌گیری را بالا نمی‌برد

پژوهشگران در پیش‌چاپی تازه بررسی کرده‌اند که دستیار هوش مصنوعی چه زمانی تصمیم‌گیری انسان را بهتر می‌کند و چه زمانی به آن آسیب می‌زند. به‌گفتهٔ آن‌ها، نتیجه فقط به دقت AI بستگی ندارد؛ میزان هم‌پوشانی شواهد مدل با اطلاعاتی که فرد خودش در اختیار دارد و شیوهٔ ترکیب این دو نیز مهم است.

در مدل پژوهش، فرد با تکیه بر سیگنال شخصی خود و توصیهٔ AI تصمیمی دودویی می‌گیرد. دو عامل اصلی در رفتار او، آگاهی از هم‌پوشانی شواهد و میزان اعتماد به AI است. تحلیل نویسندگان یک نقشهٔ بسته از وضعیت‌های مکمل‌بودن، اختلال در تصمیم‌گیری و اتوماسیون ارائه می‌کند. اگر فرد هم‌بستگی میان شواهد را نادیده بگیرد، ممکن است اطلاعات مشترک را دوبار به حساب بیاورد؛ در نتیجه، AI توانمندتر لزوماً تصمیم دقیق‌تری به همراه نمی‌آورد.

پژوهش همچنین نشان می‌دهد اعتماد کمتر از حد مناسب می‌تواند در برخی شرایط اثر نادیده‌گرفتن هم‌پوشانی را جبران کند؛ بنابراین میزان اعتماد بهینه به شرایط استقرار AI بستگی دارد. نویسندگان می‌گویند پارامترهای مدل را با جفت‌کردن افراد یکسان با AIهای متفاوت برآورد کرده‌اند و افت دقت را به هزینهٔ ناشی از نادیده‌گرفتن هم‌پوشانی و هزینهٔ کم‌اعتمادی تقسیم کرده‌اند.

در آزمایش ChatBench، کمک AI دقت را ۲۱ واحد درصد افزایش داد، اما افراد تنها حدود یک‌چهارمِ وزنی را که در تصمیم‌گیری بیزی به اطلاعات AI داده می‌شود، به آن اختصاص دادند. طبق چکیده، GPT-4o در ناحیهٔ اتوماسیون و Llama-3.1-8b در مرز مکمل‌بودن قرار گرفتند. تنظیم اعتماد، دقت را برای GPT-4o حدود ۲٫۶ واحد درصد بالا برد، اما برای Llama-3.1-8b تقریباً اثری نداشت. این یافته‌ها در نسخهٔ پیش‌چاپ منتشرشده در arXiv گزارش شده‌اند.