هوش مصنوعی

چارچوبی برای مقاوم‌سازی حافظهٔ عامل‌های زبانی در برابر اطلاعات کهنه و مسموم‌سازی

پیش‌چاپی در arXiv، مسئلهٔ مدیریت حافظهٔ بلندمدت عامل‌های LLM را بررسی می‌کند؛ جایی که نگه‌داشتن اطلاعات قدیمی و ثبت دستورهای تزریق‌شده، تصمیم‌های متفاوتی می‌طلبد.

۲ دقیقه مطالعه

عامل‌های مبتنی بر مدل‌های زبانی بزرگ از حافظهٔ بلندمدت برای تصمیم‌گیری‌های بعدی استفاده می‌کنند؛ بنابراین، تصمیم مدیر حافظه دربارهٔ اینکه چه چیزی ذخیره شود و کدام رکوردها مبنای عمل قرار بگیرند، اهمیت دارد. این مدیر ممکن است واقعیتی را که تغییر کرده همچنان نگه دارد یا متنی کاشته‌شده و دستور تزریق‌شده را وارد حافظه کند؛ دو خطایی که به‌ترتیب به اطلاعات منسوخ و مسموم‌سازی حافظه می‌انجامند.

نویسندگان پیش‌چاپی با عنوان «Accept Changes, Reject Attacks: Robust Memory Management for LLM Agents» می‌گویند پژوهش‌های پیشین معمولاً این دو مسئله را جداگانه بررسی کرده‌اند، درحالی‌که مدیریت آن‌ها به تصمیم‌های متضادی دربارهٔ ثبت اطلاعات نیاز دارد و یک قاعدهٔ ثابت برای نوشتن در حافظه نمی‌تواند هر دو را حل کند. آن‌ها مقاوم‌بودن حافظه را توانایی مدیریت هر دو نوع خطا، بدون افت عملکرد در ورودی‌های دیگر، صورت‌بندی می‌کنند.

برای ارزیابی، مقاله معیار «دقت مشروط به شواهد» (ECA) را معرفی می‌کند. برخلاف سنجش صرفِ درستی پاسخ، این معیار بررسی می‌کند که آیا رکوردهای انتخاب‌شدهٔ مدیر حافظه نیز شواهد لازم را دربر دارند یا نه. چکیدهٔ در دسترس جزئیات نتایج یا روش اجرایی مقاله را ارائه نمی‌کند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست