پاداش مبتنی‌بر وضعیت پایگاه داده، موفقیت Qwen3.8-27B را در ارزیابی افزایش داد

Hugging Face می‌گوید از بررسی وضعیت نهایی پایگاه داده برای ساخت پاداش آموزشیِ عامل‌های هوش مصنوعی استفاده کرده است. این روش ابتدا برای ThinkingBox ساخته شد؛ ابزاری که با مقایسهٔ تغییرات واقعی پایگاه داده با نتیجهٔ مورد انتظار، مشخص می‌کند عامل وظیفه را واقعاً انجام داده یا فقط اعلام کرده است که کار تمام شده. اکنون ThinkingBox-Training در GitHub در دسترس است.

پژوهشگران این پاداش اجرایی را روی مجموعه‌ای از وظایف خارج از ThinkingBox-Bench به کار بردند و Qwen3.8-27B را با روش GRPO به‌مدت ۵۰ گام آموزش دادند. نتیجهٔ اعلام‌شده، افزایش موفقیت میانگین از ۵۱٫۷۰ به ۶۰٫۷۸ درصد بود. همچنین شمار وظایفی که مدل در تمام ۲۰ تلاش ثبت‌شده با موفقیت انجام داد، از ۳۸ به ۱۰۷ رسید.

ThinkingBox-Bench شامل ۵۰۷ وظیفه است؛ در هرکدام، عامل با یک backend واقعی و مجموعه‌ای از ابزارها کار می‌کند و سپس وضعیت پایگاه داده بررسی می‌شود. برای ارزیابی، هر وظیفه ۲۰ بار اجرا شده است. معیار pass@1 میانگین موفقیت در مجموع ۱۰٬۱۴۰ تلاش را می‌سنجد؛ pass@20 سهم وظایفی را نشان می‌دهد که دست‌کم یک‌بار حل شده‌اند؛ و معیار Observed 20/20 سهم وظایفی است که در هر ۲۰ تلاش موفق بوده‌اند.

برای انتخاب داده‌های آموزشی، تیم از «سختی نسبی با سیاست» استفاده کرد: احتمال موفقیت مدل پایه را برای هر وظیفه یک‌بار برآورد کرد و مجموعهٔ انتخاب‌شده را در طول آموزش ثابت نگه داشت. منطق این انتخاب آن است که وظایف از دید مدل تغییر می‌کنند؛ مسئله‌ای که در ابتدا دشوار است، ممکن است پس از یادگیری برای همان مدل آسان شود. به‌گفتهٔ تیم، وظایفی که مدل از ابتدا به‌راحتی حل می‌کند یا از پسشان برنمی‌آید، هر دو برای آموزش چندان آموزنده نیستند.