هوش مصنوعی

JABER برای کنترل کیفیت برچسب‌های انسانی و هوش مصنوعی، سوگیری مشترک را هم در نظر می‌گیرد

چارچوب پیشنهادی JABER با مدل‌کردن هم‌زمان درستی برچسب و سوگیری‌های مشترک، می‌کوشد از اشتباه‌گرفتن توافق‌های تکراری با شواهد مستقل جلوگیری کند.

۱ دقیقه مطالعه
图 1: Overview of JABER framework for sequential annotation QC under shared bias. The top panel introduces a motivating preference-annotation example in which an annotator initially favors a longer but incorrect response,
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

برچسب‌گذاری باکیفیت برای آموزش و ارزیابی سامانه‌های هوش مصنوعی ضروری است. در روش‌های رایج کنترل کیفیت، برای تأیید یک برچسب، از انسان یا هوش مصنوعی داوری‌های بیشتری گرفته می‌شود؛ اما اگر داوران سوگیری مشترکی داشته باشند، توافق آن‌ها ممکن است به‌اشتباه نشانه‌ای مستقل از درستی تلقی شود.

پژوهشگران در مقاله‌ای پیش‌چاپ در arXiv چارچوبی به نام JABER پیشنهاد کرده‌اند که سوگیری‌آگاه است و با یک توزیع پسین بیزیِ مشترک، درستی برچسب و سوگیری‌های مشترک را هم‌زمان مدل می‌کند. این چارچوب از این برآورد برای هدایت انتخاب شواهد بیشتر و تصمیم‌گیری دربارهٔ زمان توقف فرایند کنترل کیفیت استفاده می‌کند. چکیدهٔ در دسترس همچنین از الگوریتمی با افق محدود برای انتخاب میان گردآوری شواهد و توقف سخن می‌گوید، اما جزئیات بیشتر یا نتایج ارزیابی در متن ارائه‌شده نیامده است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست