هوش مصنوعی
معیار MemU-Bench توانایی عامل‌های رابط کاربری را در به‌خاطر سپردن تعاملات طولانی می‌سنجد
این معیار موبایلی شامل ۱۱۸ وظیفهٔ مبهم است که از ۲۹ مسیر تعاملی طولانی استخراج شده‌اند؛ عامل باید جزئیات فراموش‌شدهٔ درخواست کاربر را از سابقهٔ تعامل‌ها بازیابی کند.
بیشتر معیارهای سنجش رابط کاربری گرافیکی (GUI) بر دستورهای دقیق و بی‌نیاز از سابقه تکیه دارند؛ اما کاربران در استفادهٔ روزمره ممکن است جزئیات کارهای قبلی را به یاد نیاورند و درخواست‌هایی مبهم مطرح کنند. پژوهشگران در پیش‌چاپی در arXiv، معیار MemU-Bench را برای ارزیابی این وضعیت معرفی کرده‌اند.
در این معیار، عامل باید جریان خام تعامل‌های گذشته را به حافظه‌ای کاربردی تبدیل کند و هنگام نیاز، اطلاعات جاافتاده را بازیابی کند. نتیجهٔ وظایف با پایگاه‌های دادهٔ سریال‌شدهٔ برنامه‌ها بررسی می‌شود. چکیدهٔ موجود به سنجهٔ Success Rate اشاره می‌کند، اما ادامهٔ توضیح معیارها در متن منبع ارائه‌شده در دسترس نیست.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده