هوش مصنوعی
روشی برای ارزیابی کارآمدتر عامل‌های هوش مصنوعی با استفاده از ردپاهای اجرا
پژوهشگران پیشنهاد می‌کنند خلاصه‌های ساختاریافتهٔ اجرای عامل‌ها را به‌جای اتکا به پاسخ درست یا غلط، برای برآورد عملکردشان در بنچمارک به کار بگیرند.
پژوهشی تازه در arXiv روشی برای تخمین عملکرد یک سیستم در کل بنچمارک با اجرای تعداد کمتری از وظایف پیشنهاد می‌کند. رویکردهای رایج معمولاً فقط به درست یا غلط بودن پاسخ سیستم‌های مرجعی تکیه دارند که پیش‌تر ارزیابی شده‌اند؛ اما هر اجرای یک عامل هوش مصنوعی ردپایی غنی‌تر از فرایند کار آن به‌جا می‌گذارد.
در روش پیشنهادی، یک مدل زبانی بزرگ از ردپای اجرا خلاصه‌ای ساختاریافته استخراج می‌کند و یک رمزگذار متنی استاندارد آن را به بردار تبدیل می‌کند. به‌گفتهٔ چکیده، این بازنمایی‌ها نشانه‌های مرتبط با درستی پاسخ و نوع وظیفه را حفظ می‌کنند و در عین حال، سیگنال‌های مربوط به هویت سیستم، خانوادهٔ مدل و چارچوب اجرا را که می‌توانند غالب شوند، به حداقل می‌رسانند. متن در دسترس، جزئیات بیشتری دربارهٔ نتایج ارزیابی روش ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده