مجموعه‌داده‌ای برای تشخیص زبان اشاره عربی در تماس تصویری موبایلی منتشر شد

پژوهشگران در پیش‌چاپی در arXiv مجموعه‌دادهٔ Isharah-Selfie را معرفی کرده‌اند؛ مجموعه‌ای برای تشخیص و ترجمهٔ پیوستهٔ زبان اشارهٔ عربی که ویدئوهای آن با دوربین جلویی گوشی و در شرایط کنترل‌نشدهٔ سلفی ضبط شده‌اند. به‌گفتهٔ پژوهشگران، داده‌های متداول این حوزه بیشتر در محیط‌های کنترل‌شده و با دوربین ثابت گردآوری شده‌اند و بازتاب محدودی از ارتباط روزمره با تلفن همراه دارند.

این مجموعه ۸٬۹۹۷ ویدئو از ۱۶ اشاره‌گر و ۱٬۴۹۳ جملهٔ متفاوت را دربرمی‌گیرد و موضوعاتی مانند سلامت، آموزش و حمل‌ونقل را پوشش می‌دهد. هر ویدئو هم با توالی گلاس‌ها برای تشخیص پیوستهٔ زبان اشاره و هم با ترجمهٔ جمله به عربی برچسب‌گذاری شده است. داده‌ها ویژگی‌هایی چون اشارهٔ یک‌دستی، نمای نزدیک، دیده‌شدن بخشی از بدن، حرکت دوربین، محیط‌های متنوع و وضوح‌های متفاوت دستگاه‌ها را شامل می‌شوند.

پژوهشگران دو شیوهٔ ارزیابی تعریف کرده‌اند: یکی برای سنجش عملکرد روی اشاره‌گرانی که در آموزش حضور نداشته‌اند و دیگری برای بررسی جمله‌های جدید. نتایج معیارسنجی با داده‌های RGB و مبتنی بر ژست نشان می‌دهد روش‌های کنونی در شرایط سلفی با دشواری روبه‌رو هستند؛ ضعف در تعمیم ترکیب‌های تازهٔ جمله، به‌ویژه در ارزیابی جمله‌های دیده‌نشده، برجسته‌تر است.