Apertus 1.5 با درک تصویر و صدا و پنجرهٔ زمینهٔ چهاربرابری منتشر شد

Hugging Face از انتشار Apertus 1.5 خبر داده است؛ نسخه‌ای که مدل‌های 8B و 70B Apertus 1.0 را با درک تصویر و صدا، حالت اختیاری تفکر، پنجرهٔ زمینهٔ چهاربرابری و بهبود پیروی از دستورها و استفاده از ابزارها گسترش می‌دهد. وزن‌های مدل در ۲۴ ژوئیهٔ ۲۰۲۶ با مجوز Apache 2.0 روی Hugging Face منتشر شدند.

Apertus 1.5 ادامهٔ پیش‌آموزش نسل نخست است: به مدل 8B چهار تریلیون و به مدل 70B دو تریلیون توکن متنی و چندوجهی افزوده شده است. مجموع دادهٔ آموزشی این دو مدل به‌ترتیب ۱۹ و ۱۷ تریلیون توکن است. در روش ادغام زودهنگام، تصویر و صدا مانند متن به توکن‌های گسسته تبدیل می‌شوند و در همان توالی قرار می‌گیرند؛ بنابراین معماری مدل تغییر نمی‌کند. تصویرها با tokenizer مدل Emu3.5 و صدا با WavTokenizer توکن‌سازی می‌شوند. مدل‌ها تصویر و صدا را می‌فهمند، اما فقط متن تولید می‌کنند.

بیش از نیمی از توکن‌های آموزش همچنان متنی‌اند تا توانایی‌های زبانی Apertus 1.0 حفظ شود. داده‌های تازه، از جمله داده‌های چندوجهی، باید عمومی و دارای مجوزهای مجاز باشند؛ درخواست‌های انصراف ثبت‌شده در robots.txt نیز به‌صورت بازنگرانه رعایت شده‌اند. Hugging Face می‌گوید جزئیات منابع داده در apertus-data-transparency فهرست شده است. پس‌آموزش مدل‌ها در پنج مرحلهٔ SFT، تنظیم دقیق برای زمینهٔ بلند، RL، DPO و هم‌راستاسازی منشور (SDPO) انجام شده است.

برای ارزیابی نسخهٔ تازه، افزون بر سنجش‌های متنی، آزمون‌های تصویر و صدا و حالت تفکر نیز اضافه شده‌اند. ارزیابی چندوجهی با MLLM-eval-suite انجام می‌شود که دو چارچوب lmms-eval و VLMEvalKit را ادغام می‌کند. متن منبع همچنین از گسترش آزمون‌های متنی و ارزیابی ترجمه و توانایی‌های چندزبانه خبر می‌دهد، اما جزئیات این بخش در اطلاعات ارائه‌شده کامل نیست.