هوش مصنوعی

چارچوب HEELO می‌خواهد فاصلهٔ عامل‌های هوش مصنوعی تا اجرای واقعی کارها را کم کند

پژوهشگران با معرفی «ابتدایی‌های بومی عامل» می‌گویند تجهیز منابع به مدل زبانیِ مسئولِ به‌کارگیری آن‌ها می‌تواند عملکرد عامل‌ها را در چند بنچمارک بهبود دهد.

۲ دقیقه مطالعه
Figure 2: Overview of HEELO. Top: the agent-native primitive library, one box per family with the resource its primitives own. Middle: a real-world task enters as a task request with its context, constraints, and accepta
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپی در arXiv چارچوبی به نام HEELO معرفی می‌کند که با کنار هم گذاشتن اجزای نرم‌افزاریِ قابل‌استفادهٔ مجدد، برای هر وظیفه یک «مهار» یا harness اختصاصی می‌سازد. نویسندگان مسئله را «آخرین مایل تا دنیای واقعی» می‌نامند: عامل ممکن است به یک منبع دسترسی پیدا کند، اما هنوز نداند چگونه آن را در موقعیت مناسب به کار بگیرد؛ در روش‌های موجود، این توانایی معمولاً بر عهدهٔ harness است و هر سامانه ناچار می‌شود آن را دوباره بسازد.

پیشنهاد مقاله، «ابتدایی‌های بومی عامل» است: واحدهایی قابل‌استفادهٔ مجدد که یک مدل زبانیِ مستقر در خودشان را برای به‌کارگیری منبع در بستر وظیفه و ارتباط با واحدهای دیگر در اختیار دارند. HEELO اجزای لازم را به شکل گرافی متناسب با هر وظیفه ترکیب می‌کند، نتیجه را با شواهد محیط می‌سنجد و در صورت بروز خطا، اجزای مرتبط را بازبینی می‌کند. اجزای تازه یا بهبودیافته نیز پس از اعتبارسنجی به مجموعه افزوده می‌شوند.

پژوهشگران این چارچوب را با هشت خانواده از این اجزا پیاده‌سازی و روی بیش از ۲۰ بنچمارک ارزیابی کرده‌اند. در Terminal-Bench 4.0، نرخ حل وظایف با Dev-Primitives از ۳۷٫۳ درصد برای GPT-5.6 Sol همراه Codex به ۵۵٫۵ درصد رسید. در آزمون‌های دیگر، امتیاز Pass@1 در Terminal-Bench 2.0 از ۶۰ به ۷۲٫۲ درصد، نرخ موفقیت ToolBench از ۵۵٫۸ به ۷۵٫۱ درصد و دقت GAIA-Text-103 از ۴۵٫۶ به ۵۸٫۳ درصد افزایش یافت.

در ارزیابی ۴۶ وظیفهٔ دنیای واقعیِ پلتفرم معرفی‌شده در مقاله، Claude Opus 5.5 با Claude Code و GPT-6.1 Sol با Codex هرکدام بدون HEELO توانستند ۹ وظیفه را کامل کنند. با اتصال به HEELO از راه MCP server، این تعداد به‌ترتیب به ۳۹ و ۳۵ رسید. مقاله همچنین برای این دو سامانه، به‌ترتیب کاهش ۱٫۹ و ۲٫۳ برابری زمان و کاهش ۱٫۵۵ برابری هزینه به‌ازای هر وظیفهٔ تکمیل‌شده را گزارش می‌کند. این نتایج در یک پیش‌چاپ منتشر شده‌اند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست