هوش مصنوعی

LIBRA با آزمودن وابستگی ابزارها، بازیابی ابزار برای عامل‌های هوش مصنوعی را بهبود می‌دهد

چارچوب پژوهشی LIBRA پیوند میان ابزارها را پیش از دریافت درخواست کاربر در محیطی ایزوله می‌آزماید و در سه بنچمارک، بازیابی ابزار را نسبت به بازیاب متراکم بهبود داده است.

۲ دقیقه مطالعه
Figure 1: Overview of LIBRA . Stage 1: Before user queries arrive, an LLM proposes an executable contract of each tool. LIBRA tests each candidate composition in the target runtime. Successful compositions are retained t
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

عامل‌های مبتنی بر مدل‌های زبانی بزرگ در کارهای چندمرحله‌ای ممکن است ابزار متناسب با هدف را پیدا کنند، اما ابزارهای پیش‌نیازِ اجرای فرایند را از قلم بیندازند؛ زیرا بسیاری از سامانه‌های بازیابی، هر ابزار را جداگانه و بر اساس شباهت به درخواست رتبه‌بندی می‌کنند. پژوهشگران در پیش‌چاپی با عنوان LIBRA روشی برای تبدیل فهرست تخت ابزارها به کتابخانه‌ای اجرایی معرفی کرده‌اند که وابستگی‌های میان ابزارها را در زمان اجرا می‌آزماید.

در این چارچوب، یک مدل زبانی برای هر ابزار قراردادهایی شامل فراخوانی‌های احتمالی، خروجی‌های قابل استفادهٔ مجدد، تغییرات وضعیت و شرایط موفقیت پیشنهاد می‌کند. سپس LIBRA ترکیب‌های پیشنهادی را در محیط sandbox آزمایش می‌کند و فقط پیوندهایی را نگه می‌دارد که آزمون زمان اجرا از آن‌ها پشتیبانی کند. کتابخانه پیش از دریافت درخواست کاربران ساخته می‌شود و به برچسب‌گذاری وابستگی‌ها، ردپای استفاده از ابزار یا آموزش ویژهٔ هر وظیفه نیاز ندارد. بنا بر مقاله، این روش هم برای بازیابی یک‌مرحله‌ای و هم برای بازیابی عامل‌محور قابل استفاده است.

در ارزیابی روی AppWorld، BFCL و SciToolEval، LIBRA در مقایسه با همان بازیاب متراکم، میانگین Recall را ۷٫۹ و NDCG را ۳٫۷ واحد درصد افزایش داد. در چارچوب ToolReAGt نیز پس از ده دور بازیابی، این بهبودها به‌ترتیب ۴٫۵ و ۲٫۹ واحد درصد بود. نویسندگان همچنین به وابستگی‌های sandbox و مصالحه‌های موجود در ساخت کتابخانه اشاره می‌کنند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست