هوش مصنوعی
قراردادهای بازپخش برای بازترکیب دقیق فعال‌سازی‌ها در آموزش مدل
پیش‌چاپی در arXiv روشی پیشنهاد می‌کند که هنگام بازاجرای بخش‌هایی از گذر رو‌به‌جلو، وضعیت حافظه و مولد اعداد تصادفی را نیز در نظر می‌گیرد.
بازترکیب فعال‌سازی‌ها با بازاجرای بخش‌هایی از گذر رو‌به‌جلو در مرحلهٔ پس‌انتشار، مصرف حافظهٔ شتاب‌دهنده را کاهش می‌دهد؛ اما بازپخش فقط وقتی درست است که همان وضعیت زمان اجرای اصلی را ببیند. بافرهای قابل‌تغییر، داده‌های هم‌نشانی‌شده در حافظه و وضعیت مولد اعداد تصادفی ممکن است در فاصلهٔ دو اجرا تغییر کنند و باعث شوند کدِ بدون تغییر، محاسبهٔ متفاوتی را بازتولید کند.
پژوهشگران در پیش‌چاپی در arXiv سازوکاری به نام «قرارداد بازپخش نسخه‌بندی‌شده» پیشنهاد می‌کنند که مشخص می‌کند هنگام بازپخش چه وضعیتی باید بازیابی شود. برنامه‌ریز این روش برای هر بخش، میان نگه‌داشتن فعال‌سازی‌ها، ثبت تصویر کامل بافرها یا حفظ انتخابی بخش‌هایی از آن‌ها تصمیم می‌گیرد و هزینهٔ حافظه و بازیابی هر گزینه را می‌سنجد. چک‌های مستقل مشتق‌گیری و بررسی در سطح بایت نیز برای اعتبارسنجی قرارداد به کار می‌روند. چکیده همچنین از یک مجموعهٔ مشترک Torch و JAX با ۵۹۰۰ رکورد اجرا نام می‌برد، اما متن ارائه‌شده دربارهٔ نتیجهٔ ارزیابی این مجموعه اطلاعات بیشتری نمی‌دهد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده