پژوهشگران روش کالیبراسیون مدل‌های زبانی در قالب HiFloat4 را بررسی می‌کنند

کوانتیزه‌کردن مدل‌های زبانی بزرگ (LLM) می‌تواند نیاز آن‌ها به حافظه و منابع محاسباتی را کاهش دهد و استنتاج را سریع‌تر کند؛ اما این فرایند اغلب با افت دقت همراه است و کالیبراسیون برای محدودکردن این افت اهمیت دارد. پیش‌چاپی در arXiv با عنوان «Calibration of Large Model Quantization based on HiFloat4 Format» این مسئله را در ارتباط با قالب HiFloat4 بررسی می‌کند.

نویسندگان HiFloat4 یا HiF4 را قالبی مبتنی بر Block Floating-Point با سلسله‌مراتب سه‌سطحی مقیاس‌بندی توصیف می‌کنند که دامنهٔ پویای بزرگ‌تری دارد. این قالب در کنار گزینه‌های ۴‌بیتی دیگری مانند MXFP4 و NVFP4 مطرح شده است. چکیدهٔ در دسترس، جزئیات روش کالیبراسیون یا نتایج ارزیابی را بیان نمی‌کند.