هوش مصنوعی

SumOne با خلاصه‌سازی تاریخچهٔ عامل‌ها، هزینهٔ استنتاج را تا حدود ۷۸ درصد کاهش می‌دهد

این خلاصه‌ساز مستقل با بازسازی بخش‌های پنهان‌شدهٔ تاریخچه آموزش می‌بیند و، بنا بر ارزیابی پژوهشگران، بدون نیاز به تنظیم مجدد میان مدل‌ها و چارچوب‌های عامل جابه‌جا می‌شود.

۲ دقیقه مطالعه
(a) SumOne is a lightweight, standalone memory compressor applicable to diverse agents and tasks.
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

عامل‌های زبانیِ فعال در کارهای طولانی، تاریخچهٔ تعاملات بزرگی جمع می‌کنند و برای ادامهٔ کار باید بخشی از این زمینه فشرده شود. پژوهشگران در پیش‌چاپی در arXiv، SumOne را معرفی کرده‌اند: خلاصه‌سازی که هدفش حفظ اطلاعات تاریخچه است و آموزش آن به نتیجهٔ وظیفهٔ نهایی یا رفتار عامل وابسته نیست.

در روش SumOne، یک بازسازِ ثابت از روی خلاصهٔ تاریخچه، بخش‌هایی را که به‌طور تصادفی از مسیر اصلی پنهان شده‌اند بازسازی می‌کند. کیفیت بازسازی، همراه با جریمه‌ای برای طول خلاصه، پاداشی مستقل از وظیفه فراهم می‌کند تا خلاصه‌ساز با روش GRPO بهینه شود. این فرایند از داده‌های خام تعاملات یاد می‌گیرد و به خلاصه‌های مرجع یا اجرای وظایف پایین‌دستی نیاز ندارد. هنگام استفاده نیز فقط خلاصه‌ساز سبک‌وزن نگه داشته می‌شود و عامل اصلی بدون تغییر کار می‌کند.

ارزیابی پژوهشگران روی وظایف جست‌وجوی طولانی و مهندسی نرم‌افزار انجام شده است. در مقایسه با استفاده از زمینهٔ کامل، هزینهٔ استنتاج برآوردشده در DeepSearchQA حدود ۷۸ درصد و در SWE-bench Verified حدود ۷۵ درصد کاهش یافت؛ هر دو کاهش با افت مطلق ۰٫۰۴ همراه بود. به‌گفتهٔ پژوهشگران، همان نسخهٔ آموزش‌دیده به مدل‌ها و چارچوب‌های عامل دیگر نیز منتقل می‌شود، بی‌آنکه تنظیم دقیق بیشتری لازم باشد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست