اپل طراحی مدل‌های انتشار سه‌وجهی برای متن، تصویر و صوت را بررسی کرد

پژوهشگران Apple از آموزش مدل‌های Masked Diffusion سه‌وجهی خبر داده‌اند؛ مدل‌هایی که از ابتدا با داده‌های متن، تصویرـ‌متن و صوتـ‌متن آموزش دیده‌اند. به‌گفتهٔ پژوهشگران، کارهای پیشین در این حوزه معمولاً مدل تک‌وجهی را برای تولید دوجهی آماده می‌کردند.

این مطالعه اثر مقیاس‌پذیری چندوجهی، نسبت ترکیب وجه‌ها، برنامه‌های نویز و اندازهٔ دستهٔ داده را بررسی می‌کند و تنظیمات پیش‌فرضی برای نمونه‌گیری هنگام استنتاج ارائه می‌دهد. تحلیل اندازهٔ دسته نیز به بازپارامتردهی مبتنی بر معادلهٔ دیفرانسیل تصادفی (SDE) انجامیده است؛ روشی که، بنا بر توضیح پژوهشگران، نیاز به تنظیم اندازهٔ دستهٔ بهینه را از میان می‌برد. این روش اندازهٔ دستهٔ فیزیکی، که معمولاً با توجه به توان پردازشی انتخاب می‌شود، از اندازهٔ دستهٔ منطقی جدا می‌کند؛ اندازه‌ای که برای متعادل‌کردن واریانس گرادیان‌ها در بهینه‌سازی تصادفی به کار می‌رود.

پژوهشگران همچنین مدلی مقدماتی را در مقیاس ۳ میلیارد پارامتر و با ۶٫۴ تریلیون توکن پیش‌آموزش داده‌اند. آن‌ها از نتایج قوی این مدل در تولید متن و وظایف تبدیل متن به تصویر (T2I) و متن به گفتار (T2S) خبر می‌دهند. در منبع، جزئیات عددی این نتایج ارائه نشده است.