هوش مصنوعی
چالش WorkRB سنجش استخراج مهارت را با معیار ارتباط درجه‌بندی‌شده تغییر می‌دهد
این روش به هر مهارت پیشنهادی از صفر تا چهار امتیاز می‌دهد و رتبه‌بندی مدل‌ها را با معیار nDCG@100 می‌سنجد؛ رویکردی که برای واژگان بزرگی مانند ESCO طراحی شده است.
در بنچمارک‌های استخراج مهارت، معمولاً چند گزینهٔ درستِ حاشیه‌نویسی‌شده با پیش‌بینی مدل مقایسه می‌شوند و بقیهٔ مهارت‌ها نادرست به‌حساب می‌آیند. پژوهش معرفی‌شده در پیش‌چاپی از arXiv می‌گوید این نگاه دودویی در مقیاس ESCO، با ۱۳٬۹۳۹ مهارت، می‌تواند پیش‌بینی‌هایی را که صرفاً گزینهٔ حاشیه‌نویسی‌شده را بالا رتبه می‌دهند پاداش دهد و پیشنهادهای نامعقول از نظر معنایی را پنهان کند.
چالش WorkRB در RecSys-HR 2026 به‌جای این روش، برای هر مهارت در پنجرهٔ رتبه‌بندی مدل امتیازی از صفر تا چهار در نظر می‌گیرد و جدول رتبه‌بندی را با معیار nDCG@100 ارزیابی می‌کند. به‌گفتهٔ چکیده، داوری سه‌حالته برای حاشیه‌نویسی عینی بیش از حد خشن بود؛ بنابراین ارتباط مهارت با چهار پرسش دودوییِ پیاپی سنجیده می‌شود: آیا مهارت در همان حوزه است، فعالیت در متن ذکر شده، سطح جزئیات مناسب است و آیا می‌تواند جایگزین یکی از گزینه‌های درستِ مرجع شود؟
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده