پروتکل TetraState برای آزمودن رگرسیون در مدل‌های جهانِ یادگرفته‌شده معرفی شد

پیش‌چاپی در arXiv پروتکل TetraState را برای آزمودن تغییرات نسخه‌های مدل‌های جهانِ یادگرفته‌شده معرفی می‌کند؛ مدل‌هایی که در هر انتشار ممکن است همراه با پیش‌پردازش و سازوکار آزمون (test harness) تغییر کنند. شمارش نمونه‌هایی که پس از به‌روزرسانی مدل نتیجهٔ بدتری می‌گیرند، یا «چرخش منفی» (negative flip)، می‌تواند افت‌هایی را آشکار کند که بررسی دقت کلی پنهان می‌ماند؛ اما نتیجهٔ آزمون ممکن است با تغییر پیکربندی عوض شود و خطای test harness نیز بدون آنکه اجرا از کار بیفتد، امتیاز یا حکم نادرست تولید کند.

در TetraState، هر آزمون ویدئوییِ جفت‌شده برای یک وضعیت ممکن و یک وضعیت ناممکن، در چهار پیکربندی ثابت و متناسب با خود مدل اجرا می‌شود. تعداد حکم‌های درست، آزمون را در یکی از چهار دستهٔ نتیجه قرار می‌دهد. آزمون‌های نامشخص و اجراهای ناموفق نیز جدا از نرخ حکم‌دهی گزارش می‌شوند. اطلاعات در دسترس از پیش‌چاپ جزئیات بیشتری دربارهٔ مقایسهٔ نسخه‌ها ارائه نمی‌کند.