هوش مصنوعی
مدل‌های هوش مصنوعی درباره آمار نیجریه ضعیف‌تر از آمریکا و بریتانیا پاسخ می‌دهند
پیش‌چاپی در arXiv، با سنجش پاسخ‌ها به پنج زبان، نشان می‌دهد کمبود دانش درباره نیجریه از افت عملکرد مدل‌ها در زبان‌های کم‌منبع پررنگ‌تر است.
![Figure 1: The NaijaFacts languages are widely spoken yet barely present in web text. Each point is a language, placed by Wikipedia articles [ 30 ] and speakers [ 7 ] , both on log scales. The green languages have 1–3 ord](https://arxiv.org/html/2611.06504/2611.06504v1/figures/representation.png)
پژوهشگران در پیش‌چاپی با معرفی بنچمارک NaijaFacts، دانش factual و آماری مدل‌های هوش مصنوعی درباره نیجریه را از توانایی آن‌ها در زبان‌های مختلف جدا کرده‌اند. پرسش‌های این بنچمارک را گویشوران بومی نوشته‌اند و هر پرسش به انگلیسی، Nigerian Pidgin، یوروبا، ایگبو و هوسا در دسترس است. پرسش‌های مشابه درباره آمریکا و بریتانیا نیز امکان مقایسه کشورها و زبان‌ها را فراهم می‌کند.
بر پایه نتایج هشت مدل پیشرفته و مدل‌های سازگارشده با نیجریه، دقت پاسخ‌گویی به پرسش‌های انگلیسی درباره آمریکا و بریتانیا حدود ۴۹ تا ۵۰ درصد بود؛ این رقم برای نیجریه ۲۰ درصد گزارش شد. نویسندگان می‌گویند این شکاف بیشتر به نبود دانش مربوط است تا دشواری زبان: دقت مدل‌ها با تغییر زبان از انگلیسی به یوروبا در پرسش‌های نیجریه ۹ واحد درصد افت کرد، درحالی‌که افت در پرسش‌های آمریکا و بریتانیا به ۲۴ واحد درصد رسید. این افت با میزان بازنمایی زبان‌ها در وب هم‌راستا بود.
حتی مدل‌های قوی‌تر نیز در آمار نیجریه از دقت ۳۱ درصد فراتر نرفتند؛ در مقابل، بهترین مدل‌ها در پرسش‌های مربوط به بریتانیا و آمریکا به دقت ۶۶ تا ۷۹ درصد رسیدند. بررسی همان مدل در ۵۴ کشور آفریقایی نیز الگویی مشابه نشان داد: دقت در موضوعات فرهنگ و سیاست به‌ترتیب ۹۶ و ۹۸ درصد بود، اما در آمار به ۲۶ درصد رسید. این نتایج در مقاله‌ای پیش‌چاپ و هنوز منتشرنشده در مجله ارائه شده‌اند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده