هوش مصنوعی
HarnessFlow با جست‌وجوی درختی، طراحی عامل‌های LLM را بهینه می‌کند
این چارچوب با ثابت نگه‌داشتن مدل و محیط، نسخه‌های مختلف کدِ واسط عامل را ارزیابی و اصلاح می‌کند؛ در شش بنچمارک، امتیاز میانگین آن از روش‌های مقایسه‌شده بیشتر بود.
پژوهشگران در پیش‌چاپی در arXiv چارچوبی به نام HarnessFlow معرفی کرده‌اند که طراحی خودکار «هارنس» عامل‌های مدل زبانی بزرگ را هدف می‌گیرد؛ هارنس بخشی است که تعامل عامل با ابزارها و محیط را مدیریت می‌کند. در این روش، مدل و محیط وظیفه ثابت می‌مانند و چارچوب با بودجه‌ای محدود، نسخه‌های اجرایی هارنس را جست‌وجو و ارزیابی می‌کند.
HarnessFlow نامزدها و سابقهٔ ارزیابی آن‌ها را در یک درخت اصلاح سازمان می‌دهد و با سیاستی مبتنی بر جست‌وجوی درخت مونت‌کارلو (MCTS)، میان پیگیری گزینه‌های امیدوارکننده و کاوش گزینه‌های تازه تعادل برقرار می‌کند. یک عامل کدنویس، با استفاده از کدهای پیشین، بازخورد اجرای نسخه‌ها و کتابخانه‌ای از سازوکارهای قابل‌بازتولید، هارنس‌های منتخب را اصلاح می‌کند.
در شش بنچمارک شامل وظایف عامل‌محور، کدنویسی و تعامل با وب، پژوهشگران برای هر بنچمارک ۱۵ بار اصلاح انجام دادند. HarnessFlow بالاترین میانگین امتیاز آزمون را در میان روش‌های مقایسه‌شده به دست آورد: ۶۹٫۴۸ درصد. این میانگین به‌ترتیب ۱۰٫۸۹ و ۳٫۹۵ واحد درصد از هارنس‌های اولیه و روش Meta-Harness بیشتر بود. پژوهش همچنین می‌گوید هزینهٔ اجرای متوسط به‌ازای هر وظیفه از خط‌پایه‌های طراحی‌شده به‌دست انسان کمتر بود. مقاله در نسخهٔ پیش‌چاپ منتشر شده و این نتایج به همان بنچمارک‌ها و تنظیمات گزارش‌شده محدود است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده