AnyLanguageModel 1.0 راهی ساده‌تر برای استفاده از مدل‌های محلی و میزبانی‌شده در اپ‌های Apple

Hugging Face نسخهٔ ۱.۰ AnyLanguageModel را منتشر کرد؛ کتابخانه‌ای که جایگزینی برای چارچوب Foundation Models اپل است و به توسعه‌دهندگان اجازه می‌دهد مدل و ارائه‌دهندهٔ استنتاج اپ خود را انتخاب کنند. این پروژه پس از آن شکل گرفت که سازندگان اپ‌ها دربارهٔ شروع کار با مدل‌های محلی و پیچیدگی پشتیبانی از چند ارائه‌دهنده بازخورد دادند.

با AnyLanguageModel، کد یک نشست می‌تواند با مدل سیستمی، مدل‌های دارای وزن باز از طریق llama.cpp، MLX و Core ML، یا ارائه‌دهندگان میزبانی‌شده کار کند. در OS 27 نیز این کتابخانه از هر مدلی که با پروتکل LanguageModel در Foundation Models سازگار باشد پشتیبانی می‌کند؛ از جمله مدل‌های Core AI.

نسخهٔ تازه از قابلیت‌هایی مانند تولید هدایت‌شده، فراخوانی ابزار همراه با پخش جریانی و نمایش میزان مصرف توکن در پاسخ‌ها پشتیبانی می‌کند. اطلاعات مربوط به استدلال نیز در transcript نگه داشته می‌شود؛ اما هنگام جابه‌جایی میان ارائه‌دهندگان، اگر ارائه‌دهندهٔ جدید نتواند بلوک‌های استدلال را بازپخش کند، آن بلوک‌ها به‌طور خودکار از درخواست حذف می‌شوند. کلیدهای API هم به‌جای رشتهٔ ثابت، از طریق یک closure دریافت می‌شوند تا اپ بتواند توکن‌های کوتاه‌عمر را از سرور خود بگیرد.

Hugging Face هم‌زمان نسخهٔ ۱.۰ کتابخانه‌های swift-huggingface و swift-xet را نیز عرضه کرده است. این ابزارها دانلود سریع‌تر مدل‌ها از Hub را در اپ‌های Swift فراهم می‌کنند. AnyLanguageModel همچنین روی Linux اجرا می‌شود و به این ترتیب، کد مشترک می‌تواند روی سرور نیز به کار رود.