معرفی SLATE؛ بنچمارکی برای سنجش انتخاب API در وظایف چندمرحله‌ای

پژوهشگران در پیش‌چاپی در arXiv از SLATE، بنچمارکی برای سنجش انتخاب API در مقیاس بزرگ، رونمایی کرده‌اند. هدف آن ارزیابی عامل‌های مبتنی بر مدل‌های زبانی بزرگ است که باید مراحل رویه‌های سازمانی را به فراخوانی درست از میان هزاران API داخلی نگاشت کنند؛ بدون آنکه برای هر مرحله نگاشت دستیِ ازپیش‌نوشته‌شده‌ای در اختیارشان باشد.

چالش اصلی، انتخاب و ترکیب ابزارهای درست در چندین مرحله است؛ ارزیابی نیز بر موفقیت کل وظیفه تکیه دارد. به‌گفتهٔ پژوهشگران، بنچمارک‌های فعلی این وضعیت را به‌خوبی نمی‌سنجند: برخی فقط تعداد اندکی ابزار ارائه می‌کنند، برخی دیگر تنها فراخوانی تک‌مرحله‌ای را می‌آزمایند و شماری نیز رفتار چندمرحله‌ای را با داوری ذهنی مدل‌های زبانی ارزیابی می‌کنند؛ روشی که ممکن است مسیرهای جایگزینِ معتبر را نمرهٔ منفی بدهد.

SLATE مخفف Synthetic Large-scale API Toolkit for E-commerce است. اطلاعات موجود در چکیدهٔ پیش‌چاپ، جزئیات بیشتری دربارهٔ طراحی بنچمارک یا نتایج ارزیابی ارائه نمی‌کند.