هوش مصنوعی

حافظهٔ وزنی برای عامل‌های هوش مصنوعی؛ راهی برای کاهش هزینهٔ پرس‌وجو

پژوهشگران روشی ترکیبی پیشنهاد کرده‌اند که دانسته‌ها را هم در پارامترهای مدل و هم در حافظهٔ متنی نگه می‌دارد؛ در آزمون HaluMem، این روش با چند سامانهٔ متنی رقابت کرد و برای هر پرس‌وجو توکن‌های کمتری خواند.

۲ دقیقه مطالعه

حافظهٔ عامل‌های هوش مصنوعی معمولاً به شکل متن ساخته می‌شود: نکته‌های مهم از گفت‌وگوهای قبلی استخراج و هنگام پرس‌وجو دوباره به متن ورودی افزوده می‌شوند. این کار با انباشته‌شدن تاریخچه می‌تواند هزینهٔ هر پرس‌وجو را افزایش دهد. پژوهش تازه‌ای در arXiv بررسی می‌کند که آیا می‌توان بخشی از این اطلاعات را به‌جای بازیابی از متن، در پارامترهای مدل ذخیره کرد.

روش پیشنهادی، «تقطیر خودنظارتیِ درون‌سیاست» (OPSD)، مدلی را آموزش می‌دهد که بدون دریافت متن حافظه پاسخ می‌دهد. در کنار آن، یک مسیریابِ «تأیید و سپس بازتولید» انتخاب می‌کند که هر پرس‌وجو به حافظهٔ وزنی سپرده شود یا با حافظهٔ متنی پاسخ بگیرد؛ هر کدام از این دو روش، پرس‌وجوهایی را پوشش می‌دهند که برایشان مناسب‌ترند.

در بنچمارک HaluMem، OPSD عملکردی هم‌سطح یا بهتر از چند مبنای قویِ حافظهٔ متنی، از جمله درخواست‌دهی با متن کامل و سامانه‌های بازیابی، نشان داد و برای هر پرس‌وجو توکن‌های کمتری خواند. نویسندگان همچنین رفتار حافظهٔ وزنی و اثر دستورالعمل‌های آموزشی مختلف را بررسی کرده‌اند. این مقاله پیش‌چاپ است و در کارگاه PALM کنفرانس NeurIPS 2026 ارجاع شده است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست