هوش مصنوعی
ReproBridge موفقیت بازتولید آزمایش‌های یادگیری ماشین را به ۹۲٫۶ درصد رساند
پژوهشگران می‌گویند بسته‌بندی دستورالعمل‌های اجرایی، تنظیم محیط و کدِ پالایش‌شده، بازتولید مستقل آزمایش‌ها را برای عامل‌های کدنویس آسان‌تر و کم‌هزینه‌تر می‌کند.
پژوهشگران در پیش‌چاپی در arXiv، گردش‌کار ReproBridge را معرفی کرده‌اند؛ روشی برای ساخت بسته‌های استاندارد و بازتولیدپذیر از پژوهش‌های یادگیری ماشین. این بسته‌ها کد پالایش‌شده، راه‌اندازی محیط، ابزار اجرای آزمایش‌ها و راهنمای بازتولید را در بر می‌گیرند. هدف، حفظ جزئیات و تصمیم‌هایی است که هنگام بازسازی روش آزمایش از میان مقاله، کد منتشرشده و فایل‌های پشتیبان به دست می‌آیند.
در ارزیابی روی ReproBridge-Bench، شامل ۱٬۰۲۹ وظیفه از ۳۸۷ آزمایش در ۳۶ مقاله، عامل‌ها در نشست‌های تازه با کد خام یا بسته‌های پالایش‌شده کار کردند و ممیزی جداگانه شواهد اجرای آزمایش‌ها را بررسی کرد. میانگین موفقیت چهار مدل با استفاده از بسته‌های پالایش‌شده از ۷۶٫۴ به ۹۲٫۶ درصد رسید و هزینهٔ API به‌طور میانگین ۱۹٫۷ درصد کاهش یافت.
پژوهشگران همچنین گزارش کردند که اختلاف نرخ موفقیت میان مدل‌ها از ۲۱٫۶ به ۳٫۹ واحد درصد کم شد و هر چهار مدل به میانگین موفقیت بالاتر از ۹۰ درصد رسیدند. در آزمون حذف اجزای بسته، کنار گذاشتن هر جزء موفقیت را کاهش داد؛ حذف کد یا تنظیم محیط بیشترین افت را به همراه داشت. این نتایج بر اساس ارزیابی گزارش‌شده در پیش‌چاپ است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده