Mistral Large 4 با یک تریلیون پارامتر و پنجرهٔ زمینهٔ یک‌میلیون‌توکنی منتشر شد

Mistral Large 4، با نام مستعار Le Chonk، مدل چندزبانه و چندوجهیِ Mixture-of-Experts شرکت Mistral است. این مدل حدود یک تریلیون پارامتر دارد، اما در هر بار اجرا حدود ۴۹ میلیارد پارامتر آن فعال می‌شود؛ پنجرهٔ زمینه‌اش نیز یک میلیون توکن است. مدل متن و تصویر می‌گیرد و متن تولید می‌کند.

معماری آن ترکیبی از مجموعه‌ای بزرگ از expertها، توجهِ تنک و رمزگذار تصویری Pixtral است. مدل زبانی برای هر توکن گروه کوچکی از expertها را انتخاب می‌کند و سازوکار دیگری تعیین می‌کند که مدل به کدام موقعیت‌های قبلی در متن توجه کند. به‌گفتهٔ Hugging Face، این دو سازوکار به‌ترتیب شبکه‌های پیش‌خور و موقعیت‌های زمینه را به‌صورت تنک انتخاب می‌کنند.

Mistral Large 4 با مجوز Mistral Ecosystem Open-Weight عرضه شده است؛ مجوزی مشتق‌شده از MIT که برای ارائهٔ مدل به‌عنوان سرویس محدودیت‌هایی تعیین می‌کند. افزون بر دو نسخهٔ رسمی، نسخه‌های GGUF را نیز تیم‌های Unsloth و llama.cpp ساخته‌اند.

در آزمون Cyber Index شرکت Artificial Analysis، مدل امتیاز ۸۲ درصد گرفته است. این آزمون از مدل می‌خواهد یک آسیب‌پذیری واقعی در نرم‌افزار متن‌باز را بازتولید و سپس آن را اصلاح کند. Mistral می‌گوید چند مدل بستهٔ پیشرو در همین آزمون امتیازی نزدیک به صفر گرفته‌اند، چون از انجام کار خودداری کرده‌اند. این شرکت همچنین می‌گوید آزمایش‌های داخلی نشان داده‌اند مدل برای تحلیل بدافزار، اولویت‌بندی آسیب‌پذیری‌ها و نوشتن قواعد تشخیص مفید بوده است؛ کارهایی که مدل به‌طور مشخص برایشان آموزش ندیده بود.

Mistral مدل را عمدتاً برای امنیت دفاعی معرفی می‌کند: پژوهش دربارهٔ آسیب‌پذیری و واکنش به رخداد ممکن است در ورودی شبیه حمله به نظر برسد و فیلترهای مدل‌های بسته آن را مسدود کنند. به‌گفتهٔ شرکت، استقرار مدل با وزن‌های باز همچنین کنترل سیاست استفاده و محیط اجرا را به کاربر می‌دهد. بااین‌حال، مدل درخواست‌های زیان‌بار را رد می‌کند و Mistral می‌گوید میانگین نرخ رد آن در برابر درخواست‌های سایبریِ JailbreakBench، StrongREJECT و AgentHarm از دیگر مدل‌های متن‌بازِ وزنی بیشتر است.