هوش مصنوعی
روش IDSISA حذف داده‌های مشخص از مدل را هدفمندتر می‌کند
پیش‌چاپی در arXiv روشی معرفی می‌کند که با خوشه‌بندی نمونه‌های مستعد حذف و انتقال دانش از بخش‌های دست‌نخورده، زمان بازآموزی را تقریباً در محدودهٔ SISA نگه می‌دارد.
روش IDSISA با استفاده از «توابع اثر» (influence functions)، نمونه‌هایی را که احتمال دارد درخواست حذفشان مطرح شود در شمار کمتری از بخش‌های مدل متمرکز می‌کند. سپس برای جبران افت کارایی ناشی از آموزش جداگانهٔ بخش‌ها، از بخش‌های دست‌نخورده دانش می‌گیرد. این روش در پیش‌چاپی در arXiv معرفی شده است.
در روش پایهٔ SISA، داده‌ها میان بخش‌های جداگانه تقسیم می‌شوند و پس از درخواست حذف، بخش‌های مربوطه از نو آموزش می‌بینند. تقسیم تصادفی داده‌ها ممکن است نمونه‌های درخواستی را در بخش‌های زیادی پخش کند و هزینهٔ بازآموزی را بالا ببرد؛ از سوی دیگر، آموزش منزوی هر بخش می‌تواند کارایی مدل را کاهش دهد. بازآموزی کامل تضمین قوی‌تری می‌دهد، اما در مقیاس بزرگ پرهزینه است؛ روش‌های تقریبی نیز، به گفتهٔ پژوهشگران، تضمین رسمی ندارند.
نویسندگان می‌گویند تضمین حذف IDSISA از مرحلهٔ بازآموزی SISA به ارث می‌رسد و دقیق است؛ بازیابی کارایی از راه تقطیر دانش، تقریبی جداگانه است که مقدار تجربی آن در انتظار حداکثر ۰٫۰۱۵ گزارش شده است. برای درخواست‌های حذف پیاپی نیز، چون تقطیر میان بخش‌ها می‌تواند وابستگی ایجاد کند، پژوهشگران روشی مبتنی بر بازآموزی زنجیره‌ایِ بخش‌های مرتبط را صورت‌بندی کرده‌اند و می‌گویند این روش تضمین حذف را برای کل مدل تجمیع‌شده بازمی‌گرداند.
آزمایش‌ها روی ResNet-18 با CIFAR-10 و CIFAR-100، دو مدل IMDB، و شبکه‌ای برای Fashion-MNIST انجام شده‌اند. در مقایسه با SISA، پژوهشگران بهبود ۱۴ تا ۹۱ درصدی در حذف هدفمند، و تا ۵۰ درصد بهبود نسبی در حفظ کارایی گزارش می‌کنند. تغییر زمان یادگیری‌زدایی بسته به معماری از ۶٫۷ درصد کاهش تا ۶٫۴ درصد افزایش متغیر بوده است. این مقاله در arXiv به‌عنوان پیش‌چاپ منتشر شده و برای انتشار احتمالی به IEEE ارسال شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده