پژوهشگران چارچوبی برای سنجش یادگیری پیوستهٔ عامل‌های خودکار معرفی کردند

عامل‌های پژوهش خودکار می‌توانند کد بنویسند، آزمایش اجرا کنند و راهکارهای یادگیری ماشین را به‌صورت تکرارشونده بهبود دهند. اما در بیشتر ارزیابی‌ها، برای هر مسئله جلسهٔ تازه‌ای آغاز می‌شود؛ رویکردی که هم پرهزینه است و هم روشن نمی‌کند عامل‌ها می‌توانند آموخته‌های پیشین را برای وظایف جدید نگه دارند و به کار بگیرند یا نه.

نویسندگان پیش‌چاپ «Continual AutoResearch» محیطی برای مقایسهٔ دو نسخه از یک عامل معرفی کرده‌اند: یکی با حافظه و تداوم میان وظایف، و دیگری که برای هر وظیفه بازنشانی می‌شود. دو نسخه در جریان وظایف، داده‌ها و بودجهٔ زمانی یکسان ارزیابی می‌شوند. این محیط ۹ خانوادهٔ وظیفه را دربر می‌گیرد؛ از وظایف مصنوعی و رگرسیون نمادین تا پیش‌بینی سری زمانی و AutoML جدولی.

پژوهش، پنج عامل پیشرفته را از نظر کیفیت نخستین راه‌حل، کارایی پژوهش و «بهترین عملکرد نهاییِ حفظ‌شده» می‌سنجد. چکیدهٔ ارائه‌شده جزئیات نتایج یا برتری یکی از دو شیوه را بیان نمی‌کند.