ساخت نسخهٔ ۰٫۸ میلیاردپارامتری از مدل بازنویس Qwen-Image با هزینهٔ ۱۶ دلار

نویسندهٔ Hugging Face برای ساخت نسخه‌ای کوچک‌تر از بازنویس پرامپت Qwen-Image 2.1 سراغ ML Intern رفت؛ چون نسخهٔ رسمی ۹ میلیاردپارامتری حدود ۲۰ گیگابایت حافظه می‌خواهد و پیش از نوشتن پاسخ، هزاران توکن پردازش می‌کند. به‌گفتهٔ نویسنده، نسخهٔ ۰٫۸ میلیاردپارامتریِ ساخته‌شده روی CPU اجرا می‌شود، در ۹۹٫۷ درصد موارد خروجی معتبر دارد و حدود یک‌چهارم توکن‌های مدل بزرگ‌تر را مصرف می‌کند. هزینهٔ کل پروژه، از جمله استفاده از مدل ۹ میلیاردپارامتری برای برچسب‌گذاری ۸٬۷۹۷ درخواست نمونه، ۱۶ دلار بوده است.

نویسنده می‌گوید طی چند روز پنج مدل دیگر را نیز به همین روش ساخته است. ML Intern در HuggingChat کار را برنامه‌ریزی می‌کند، پیش از هزینه‌کردن بودجه می‌گیرد، یک آزمایش کوچک اجرا می‌کند و سپس آموزش، ارزیابی و انتشار مدل را روی سخت‌افزار Hugging Face انجام می‌دهد. هر شش مدل به‌صورت عمومی در Hub منتشر شده‌اند و ارزیابی‌شان در کارت مدل آمده است.

به‌گفتهٔ نویسنده، بخش مهم کار نوشتن دستور دقیق برای عامل است: پرامپت نخست حدود ۴۵۰ کلمه بود و تا پروژهٔ ششم به نزدیک ۲٬۰۰۰ کلمه رسید. این دستورها ایده، مجموعه‌داده، مدل پایه و اسکریپت آموزش را مشخص می‌کنند و بخشی با عنوان «واقعیت‌های تأییدشده، دوباره استخراج نکن» دارند تا عامل وقتش را صرف بررسی‌های تکراری نکند.

نویسنده دو درخواست را ضروری می‌داند: سنجش عملکرد مدل پایه پیش از آموزش، برای مقایسه با نتیجهٔ نهایی؛ و اجرای یک آزمون کوتاه همراه با بررسی مشخص. برای نمونه، در LoRAهای تصویری، پیش از اجرای کامل ۵۰ گام آموزش انجام می‌شد و تغییر واقعی وزن‌های ذخیره‌شده بررسی می‌شد. متن منبع در ادامهٔ توضیح قالب خروجی مورد انتظار ناتمام است.