SELFCOMPACT به عامل‌های زبانی اجازه می‌دهد زمان خلاصه‌سازی را خودشان انتخاب کنند

ردپاهای طولانی عامل‌های زبانی، متشکل از زنجیره‌های استدلال و فراخوانی ابزارها، ممکن است اطلاعات کهنه را در خود نگه دارند و سرانجام از پنجرهٔ زمینهٔ مدل فراتر بروند. روش‌های معمول در فاصله‌های ثابت یا پس از رسیدن به آستانه‌ای از توکن‌ها خلاصه‌سازی می‌کنند؛ اما زمان‌بندی ثابت ممکن است خلاصه‌سازی را وسط استدلال یا جست‌وجو آغاز کند و نتایج ناتمام را کنار بگذارد.

پژوهشگران Apple چارچوبی به نام SELFCOMPACT پیشنهاد کرده‌اند که تصمیم‌گیری دربارهٔ زمان و نحوهٔ فشرده‌سازی زمینه را به خود مدل می‌سپارد. این چارچوب دو جزء دارد: ابزاری برای خلاصه‌کردن زمینهٔ انباشته‌شده و یک راهنمای سبک که مشخص می‌کند مدل چه وقت باید آن را به کار بگیرد—مثلاً پس از پایان یک زیرکار یا هنگام نزدیک‌شدن مسیر به نتیجه—و چه وقت باید از آن بپرهیزد، مانند میانهٔ استدلال یا زمانی که در بن‌بست است.

به‌گفتهٔ پژوهشگران، ابزار به‌تنهایی در مدل‌های متن‌باز به‌طور یکنواخت و در زمان مناسب استفاده نمی‌شود و راهنما هم بدون ابزار توانایی فشرده‌سازی ندارد. ترکیب این دو، بدون نیاز به تنظیم دقیق یا نظارت بیرونی، فشرده‌سازی تطبیقی را ممکن می‌کند.

ارزیابی روی شش بنچمارک ریاضی رقابتی و جست‌وجوی عامل‌محور، با هفت مدل انجام شد. SELFCOMPACT در این آزمایش‌ها با هزینهٔ توکنی کمتر با خلاصه‌سازی در فاصله‌های ثابت رقابت کرد یا از آن بهتر بود. در مقایسه با خط پایهٔ بدون خلاصه‌سازی، بهبود عملکرد در ریاضی تا ۱۸٫۱ امتیاز و در جست‌وجوی عامل‌محور ۵ تا ۹ امتیاز گزارش شد؛ آن هم با هزینهٔ کمتر برای هر پرسش، در بازهٔ ۳۰ تا ۷۰ درصد.

نویسندگان این نتایج را نشانهٔ شکافی در توانایی فراشناختی مدل‌ها می‌دانند: مدل‌ها بدون راهنمایی قابل اتکا نمی‌توانند تشخیص دهند چه وقت زمینهٔ خودشان دیگر مفید نیست، اما یک راهنمای سبک می‌تواند این قابلیت را بدون آموزش تازه به چارچوب عامل اضافه کند.