هوش مصنوعی
گردکردن به bf16 بیشتر به‌روزرسانی‌های سیاست در یادگیری تقویتی را حذف می‌کند
پیش‌چاپی در arXiv می‌گوید در آزمایش روی Qwen3-1.7B، در هر گام فقط ۰٫۴ تا ۰٫۵ درصد وزن‌های مورداستفاده برای تولید داده تغییر می‌کنند و سیاست اجراشده ۵۰ تا ۱۵۰ گام از بهینه‌ساز عقب می‌ماند.
در پس‌آموزش مدل‌های زبانی با یادگیری تقویتی، وزن‌های اصلی در قالب fp32 نگه‌داری می‌شوند، اما برای اجرای مدل نسخه‌ای با دقت bf16 ساخته می‌شود. طبق پیش‌چاپی در arXiv، وقتی نرخ یادگیری رایج باشد، بسیاری از به‌روزرسانی‌های هر گام از نصف فاصلهٔ قابل‌نمایش در bf16 کوچک‌ترند و گردکردن آن‌ها را از بین می‌برد.
نویسندگان می‌گویند در آزمایششان روی Qwen3-1.7B، در هر گام تنها ۰٫۴ تا ۰٫۵ درصد وزن‌های نسخهٔ اجراشده تغییر می‌کند؛ در نتیجه، سیاستی که دادهٔ آموزشی را تولید می‌کند ۵۰ تا ۱۵۰ گام از بهینه‌ساز عقب می‌ماند. به‌گفتهٔ آن‌ها، روش‌های موجود برای اصلاح ناهمخوانی این تأخیر را تشخیص نمی‌دهند، چون دو نسخه‌ای را مقایسه می‌کنند که هر دو پس از همان گردکردن ساخته شده‌اند.
پژوهشگران روشی به نام Fair Cast پیشنهاد می‌کنند: تبدیل وزن‌های اصلی با گردکردن بدون سوگیری، از طریق گردکردن تصادفی یا بازخورد خطا، و محاسبهٔ زیان آموزشی روی همان نسخه‌ای که در اجرا به کار می‌رود. جزئیات بیشتر این روش در چکیدهٔ ارائه‌شده در منبع نیامده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده