مطالعهٔ نظری اثر گردکردن تصادفی بر خطای پیش‌بینی در آموزش کم‌دقت

پیش‌چاپی در arXiv چارچوبی نظری برای بررسی اثر stochastic rounding (گردکردن تصادفی) بر خطای پیش‌بینی در آموزش کم‌دقت ارائه می‌کند؛ روشی که محاسبات را کاهش می‌دهد، اما خطای گردکردن بیشتری به همراه دارد.

پژوهشگران یک شبکهٔ خطی دولایه با لایهٔ نخست تصادفی و ثابت را در نظر گرفته‌اند که با mini-batch SGD، روی داده‌های تازهٔ گاوسی با طیف توانی آموزش می‌بیند. در هر گام، ویژگی‌های مورد استفاده در محاسبات پیش‌رو و پس‌رو به‌طور مستقل گرد می‌شوند. مقاله برای مدل نهایی و نیز میانگین‌گیری یکنواخت پارامترها، کران‌های بالاوپایینِ هم‌ترازی برای خطای پیش‌بینی اثبات می‌کند؛ نرخ یادگیری و برنامهٔ دقت نیز می‌توانند پیش از آغاز آموزش تعیین شوند.

چکیده همچنین می‌گوید نویسندگان برای دقت ثابت، نرخ یادگیری ثابت و میانگین‌گیری پارامترها، رابطه‌ای میان این تنظیمات استخراج می‌کنند؛ اما متن در دسترس پیش از بیان جزئیات نتیجه قطع شده است.