ParetoSaddler می‌کوشد بهینه‌سازی عامل‌های زبانی را میان کیفیت و هزینه متعادل کند

پژوهشگران در پیش‌چاپی در arXiv روش ParetoSaddler را برای بهینه‌سازی «هارنس» عامل‌های مبتنی بر مدل‌های زبانی بزرگ معرفی کرده‌اند؛ یعنی اجزای پیرامونی عامل که بدون تغییر وزن‌های مدل می‌توانند عملکرد آن را بهبود دهند. به‌گفتهٔ چکیده، روش‌های موجود عمدتاً کیفیت پاسخ را هدف می‌گیرند، اما بهینه‌سازی هم‌زمان کیفیت و هزینه دشواری‌ای دارد: اگر ترجیح مربوط به استقرار از همان به‌روزرسانی‌های میانی اعمال شود، ممکن است نامزدهایی که بعداً امکان بهبود دارند زودهنگام کنار گذاشته شوند.

در ParetoSaddler، انتخاب نامزدها برای ادامهٔ بهینه‌سازی از گزینش نهایی برای استقرار جداست. در هر تکرار، بهینه‌ساز یک هارنس والد را به نامزدی تازه تبدیل می‌کند؛ سپس عملکرد هر دو را در اجراهای تکرارشونده مقایسه می‌کند و با استفاده از «پشتیبانی پارتوییِ بوت‌استرپ بیزی»، نامزدهایی را ارتقا می‌دهد که شواهد معتبری از پیشرفت در کیفیت یا هزینه نشان دهند. چکیدهٔ در دسترس در میانهٔ توضیح روش قطع می‌شود و جزئیات بیشتری از نتایج یا سازوکار انتخاب نهایی ارائه نمی‌کند.