هوش مصنوعی
معیار Seq@K توانایی مدل‌های زبانی در اصلاح پاسخ با بازخورد را می‌سنجد
پژوهشگران معیار تازه‌ای برای ارزیابی این معرفی کرده‌اند که آیا مدل می‌تواند با دریافت بازخورد پس از هر تلاش ناموفق، مسئله‌ای را در حداکثر K تلاش پیاپی حل کند.
پژوهش منتشرشده در arXiv می‌گوید معیارهای رایج مانند Pass@1 و Pass@K نشان نمی‌دهند مدل‌ها چگونه از بازخورد تلاش‌های قبلی استفاده می‌کنند. Seq@K این توانایی را با سنجش حل مسئله در حداکثر K تلاش متوالی ارزیابی می‌کند؛ در این فرایند، پس از هر پاسخ ناموفق به مدل بازخورد داده می‌شود. برخلاف بنچمارک‌های چندمرحله‌ای عامل‌ها که برنامه‌ریزی بلندمدت را بررسی می‌کنند، این معیار بر توانایی اصلاح پاسخ تمرکز دارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗