مدل‌های زبانی فقط با شناخت محدودیت‌های عامل هوش مصنوعی می‌توانند موفقیتش را پیش‌بینی کنند

پژوهشگران مجموعه‌دادهٔ PAYWORTHY را برای سنجش توانایی مدل‌های زبانی در پیش‌بینی موفقیت عامل‌های هوش مصنوعی در کارهای پولی ساخته‌اند. این مجموعه شامل ۱٬۴۹۴ آگهی واقعی است که از میان ۱۸٫۸ میلیون آگهی ثبت‌شده در یک پلتفرم فریلنسری بین سال‌های ۲۰۲۰ تا ۲۰۲۶ انتخاب شده‌اند. عامل هر کار را تنها بر اساس متن آگهی و در یک نوبت انجام می‌داد و یک مدل زبانی، در نقش مشتری، نتیجه را می‌پذیرفت یا رد می‌کرد.

۱۸ مدل پیش از اجرای کارها احتمال موفقیت عامل را برآورد کردند. معیار ارزیابی، توانایی مدل در رتبه‌بندی کارهای پذیرفته‌شده بالاتر از کارهای ردشده بود؛ امتیاز AUC برابر ۰٫۵ نشان‌دهندهٔ رتبه‌بندی تصادفی است. وقتی مدل‌ها دربارهٔ کارهایی که عامل از انجامشان ناتوان است اطلاعات داشتند، امتیازشان بین ۰٫۶۶ تا ۰٫۸۶ بود. اما اگر عامل فقط به‌صورت یک ابزار عمومی مجهز به مرورگر و اجرای کد معرفی می‌شد، امتیازها به ۰٫۴۵ تا ۰٫۵۶ می‌رسید؛ نزدیک به شانس.

نتایج با استفاده از داورهایی از چهار خانوادهٔ مدل دیگر، یعنی Claude، GLM، Kimi و Qwen، نیز برقرار بود. پیش‌بینی‌های آگاه از محدودیت‌های عامل همچنین توانستند ارزیابی دو داور انسانی را رتبه‌بندی کنند. این یافته‌ها نشان می‌دهد که پیش‌بینی عملکرد عامل به توصیف مشخص توانایی‌ها و ناتوانی‌هایش وابسته است؛ توصیف کلی، به‌تنهایی، راهنمای قابل اتکایی برای انتخاب کار نیست.