هوش مصنوعی
معیار SERIAL-7 توانایی مدل‌های زبانی در تولید خروجی‌های قابل‌راستی‌آزمایی را می‌سنجد
این معیار کره‌ای‌ـ‌انگلیسی، تولید ساختاریافته را در هفت بازنمایی و سه مرحلهٔ جداگانه ارزیابی می‌کند؛ از استخراج معنا تا حفظ آن میان قالب‌ها.
پژوهشگران در پیش‌چاپی در arXiv معیار SERIAL-7 را معرفی کرده‌اند؛ چارچوبی برای سنجش خروجی‌های ساختاریافتهٔ مدل‌های زبانی که قرار است برنامه‌ها و سامانه‌های پایین‌دستی آن‌ها را اجرا یا پردازش کنند. به‌گفتهٔ چکیده، درست‌بودن معنایی به‌تنهایی اجرای قابل‌اعتماد را تضمین نمی‌کند.
SERIAL-7 بر پایهٔ ۱۷۷ نمونهٔ مرجعِ اعتبارسنجی‌شده ساخته شده و سه توانایی را جداگانه می‌سنجد: استخراج معنا (Derive)، تولید خروجی با محدودیت‌های مشخص (Realize) و حفظ اطلاعات هنگام انتقال میان بازنمایی‌ها (Preserve). این معیار هفت بازنمایی را پوشش می‌دهد و ۴۳ قید اتمی را با آزمون‌های اجراییِ قالب، ساختار و معنای متناسب با هر وظیفه همراه می‌کند. بررسی‌ها می‌توانند از رعایت الزامات بازنمایی تا اعتبارسنجی کامل artifact سخت‌گیرانه‌تر شوند.
چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج ارزیابی یا عملکرد مدل‌ها ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده