هوش مصنوعی
Reflection مدل بازِ Beam را با ۵۰۱ میلیارد پارامتر منتشر کرد
Beam مدلی متنی و مبتنی بر معماری Mixture of Experts است که برای کدنویسی، کارهای عاملی و پردازش متن‌های بلند طراحی شده و با مجوز Apache 2.0 عرضه می‌شود.
Reflection، آزمایشگاه تازه‌تأسیس آمریکایی، نخستین مدل خود را با نام Beam در Hugging Face منتشر کرده است. این مدل ۵۰۱ میلیارد پارامتر دارد، اما در هر توکن ۲۳ میلیارد پارامتر فعال می‌کند؛ رویکردی که به گفتهٔ Hugging Face، ظرفیت مدلی بزرگ را با سرعت اجرای مدلی کوچک‌تر ترکیب می‌کند. Beam فقط ورودی متنی می‌پذیرد و پنجرهٔ زمینهٔ آن یک میلیون توکن است.
این مدل برای کدنویسی، استدلال در متن‌های بلند و کاربردهای عاملی طراحی شده است. سازندگان می‌گویند تیم‌ها می‌توانند آن را روی سخت‌افزار و زیرساخت خود یا در فضای ابری اجرا و برای نیازهایشان سفارشی‌سازی کنند. Beam با مجوز Apache 2.0 منتشر شده و پیاده‌سازی بومی آن در Transformers، و همچنین پشتیبانی روز نخست در کتابخانه‌های vLLM و SGLang، در دسترس است. این مدل یک ابزار متن‌باز مبتنی بر Rust نیز برای اجرای آن دارد.
معماری رمزگشای Beam شامل ۵۲ لایه و اندازهٔ پنهان ۵۱۲۰ است. ۴۳ لایه از توجه پنجره‌ای با گسترهٔ ۵۱۲ توکن استفاده می‌کنند و ۹ لایه به کل زمینه دسترسی دارند. در لایه‌های پنجره‌ای از RoPE استفاده می‌شود؛ لایه‌های سراسری کدگذاری موقعیتی ندارند و به‌جای آن، مقیاسی وابسته به تعداد توکن‌های قابل مشاهده به هر پرس‌وجو اعمال می‌کنند.
Hugging Face همچنین از دستورالعمل‌هایی برای استنتاج، تنظیم دقیق نظارت‌شده (SFT) و یادگیری تقویتی (RL) خبر داده است. Reflection برای پروژه‌های برتر ساخته‌شده با Beam نیز ۱۰ هزار دلار اعتبار Hub در نظر گرفته؛ شرکت‌کنندگان باید پروژه را در Hub منتشر و پیوند آن را در صفحهٔ مخزن مدل به اشتراک بگذارند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: Hugging Face — مشاهده منبع اصلی ↗