روش DISCERN حذف تدریجی کلاس‌ها از مدل‌های یادگیری ماشین را پایدارتر می‌کند

پیش‌چاپی در arXiv روش DISCERN را برای حذف تدریجی کلاس‌ها از مدل‌های یادگیری ماشین معرفی می‌کند؛ مسئله‌ای که در آن کلاس‌ها به‌مرور حذف می‌شوند و مدل باید هم دانش حذف‌شده را فراموش نگه دارد و هم عملکردش را روی کلاس‌های باقی‌مانده حفظ کند. DISCERN برای این کار به‌جای استفاده از داده‌های کلاس‌های باقی‌مانده، embeddingهای مصنوعی را از توزیع‌های پارامتریِ برازش‌شده برای هر کلاس نمونه‌گیری می‌کند.

برخلاف روش‌های مبتنی بر prototype که برای هر کلاس یک توزیع Gaussian همسانگرد پیرامون مرکز کلاس فرض می‌کنند، DISCERN چند خانوادهٔ توزیع را بررسی می‌کند: Gaussian، Laplace و Student’s t برای هندسهٔ اقلیدسی، و von Mises–Fisher و Fisher–Bingham برای هندسهٔ جهت‌دار. روش با آزمون‌های آماری میان آن‌ها انتخاب می‌کند و اگر هیچ‌کدام پذیرفته نشوند، از log-likelihood اعتبارسنجی متقابل کمک می‌گیرد. نویسندگان این طراحی را با تفاوت هندسهٔ نهفته در معماری‌ها مرتبط می‌دانند: embeddingهای Transformerها، برخلاف شبکه‌های کانولوشنی، تقریباً روی یک ابرکره قرار می‌گیرند و پیرامون جهت‌های کلاس متمرکز می‌شوند.

ارزیابی روی MNIST، CIFAR-10 و CIFAR-100، با دو backbone کانولوشنی و دو Transformer و در سناریوهای حذف یک کلاس، چند کلاس و حذف تدریجی انجام شده است. طبق گزارش مقاله، DISCERN هنگام حذف هم‌زمان کلاس‌ها عملکردی رقابتی دارد و در حذف تدریجی روی Transformerها پایدارترین روش بوده است. برای نمونه، در ViT-B/16 پس از ۲۰ حذف پیاپی، میانگین هارمونیک معیارهای عملکرد ۰٫۷۹۷ گزارش شده؛ در حالی که قوی‌ترین روش در سناریوی حذف هم‌زمان، پس از ۲۰ حذف به ۰٫۰۴۸ افت کرده است. آزمایش تفکیکی نویسندگان نیز نشان می‌دهد انتخاب توزیع برای هر کلاس به‌طور چشمگیری بازگشت کلاس‌های پیش‌تر فراموش‌شده را کاهش می‌دهد؛ به‌گفتهٔ آن‌ها، این سازوکار بیش از آنکه بهبودی یکنواخت ایجاد کند، فراموشی انباشته را پایدار می‌کند.