هوش مصنوعی
چارچوب MemUse بررسی می‌کند حافظهٔ تحویل‌شده واقعاً در تصمیم‌های عامل هوش مصنوعی به کار رفته است یا نه
پژوهشگران روشی برای ارزیابی حافظه در لحظهٔ استفاده معرفی کرده‌اند؛ روشی که کیفیت بازیابی و موفقیت نهایی به‌تنهایی را کافی نمی‌داند.
پژوهشی تازه در arXiv چارچوبی به نام MemUse معرفی می‌کند که حافظهٔ تحویل‌شده به عامل‌های مبتنی بر مدل‌های زبانی بزرگ را در جریان واقعی کارشان ارزیابی می‌کند. این چارچوب بررسی می‌کند هر قطعهٔ حافظه چه ارتباطی با اطلاعاتی دارد که عامل از قبل در اختیار داشته و چه اثری بر اقدام‌های بعدی و پیامدهای آن‌ها گذاشته است.
در MemUse، یک ارزیاب مبتنی بر عامل، هر مورد حافظه را از نظر ارتباط، دقت، تازگی، میزان اثرگذاری و نتیجهٔ مشاهده‌شده امتیاز می‌دهد. بررسی‌های برنامه‌وار نیز اطمینان می‌دهند که شواهد ارجاع‌شده به‌طور کامل خوانده شده‌اند. سپس قواعد ثابتی این امتیازها را به داوری‌هایی پیوند می‌دهند که سابقهٔ حافظه و هزینهٔ تحویل آن را هم در نظر می‌گیرند.
پژوهشگران این روش را روی ۸۰۰۰ اپیزود از SWE-bench Verified و سه سامانهٔ حافظه آزمایش کردند. طبق چکیدهٔ در دسترس، نرخ حل مسئله در این آزمایش‌ها حداکثر ۰٫۴ واحد درصد با وضعیت «بدون حافظه» تفاوت داشت. چکیدهٔ منبع در همین نقطه ناتمام است و جزئیات بیشتری دربارهٔ نتایج ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده