روش Apple برای شناسایی جابه‌جایی زبان در گفتار، بی‌نیاز از رونویسی است

جابه‌جایی زبان یا Code-switching، یعنی تغییر زبان در میانهٔ یک گفته، در گفتار چندزبانه رایج است؛ اما در مجموعه‌داده‌های پیش‌آموزش کمتر از حد نمایندگی شده است. پژوهشگران Apple روشی برای شناسایی مستقیم این نمونه‌ها از روی صوت پیشنهاد کرده‌اند که به رونویسی دقیق چندزبانه نیاز ندارد.

این روش از اطلاعات زبانی در سطح فریمِ رمزگذارهای گفتار ازپیش‌آموزش‌دیده استفاده می‌کند. پژوهشگران با کمک ضبط‌های تک‌زبانه، ابعاد حالت پنهانِ مرتبط با هر زبان را مشخص می‌کنند و سپس فعال‌سازی‌های آن‌ها را برای پیش‌بینی جابه‌جایی زبان در کل گفته به‌کار می‌گیرند. برای تنظیم قاعدهٔ تصمیم‌گیری نیز از مجموعه‌ای کوچک از نمونه‌های دارای جابه‌جایی زبان استفاده می‌شود.

در آزمون CS-FLEURS روی ۱۴ جفت‌زبان، رمزگذار Whisper-small به میانگین امتیاز F1 برابر با ۰٫۷۹۸ رسید. این مقدار برای یک مدل CNN برابر با ۰٫۷۷۶ و برای خط پایهٔ خطی HuBERT که برای شناسایی زبان تک‌گویی آموزش دیده بود، ۰٫۷۵۱ بود. به‌گفتهٔ پژوهشگران، نتیجه نشان می‌دهد رمزگذارهای گفتار ازپیش‌آموزش‌دیده از پیش اطلاعات لازم برای شناسایی گفته‌های دارای جابه‌جایی زبان را در خود دارند و می‌توان از این روش سبک برای ساخت مجموعه‌داده‌های چندزبانهٔ نماینده‌تر بهره برد.