روش VocabX هزینهٔ استنتاج یک ارزیاب انشا را ۷۷ درصد کاهش داد

پژوهشگران Hugging Face می‌گویند روش VocabX توانسته است هزینهٔ استنتاج یک سامانهٔ ارزیابی خودکار انشاهای پرتغالی را ۷۷ درصد کاهش دهد. این سامانه بر پایهٔ Qwen3-4B ساخته شده و برای هر انشا، ارزیابی JSON شامل نمره و توضیحی دربارهٔ هر شایستگی تولید می‌کند.

مدل، با وجود آموزش برای این وظیفه، همچنان از توکنایزر عمومی Qwen3-4B استفاده می‌کرد؛ توکنایزری با واژگان ۱۵۱٬۶۶۹‌تایی که برای زبان‌ها و گونه‌های متنوع متن طراحی شده است. در کاربرد محدود این سامانه، پرتغالی و قالب پاسخ ثابت JSON، متن‌های پرتکرار به تعداد بیشتری توکن شکسته می‌شدند و مدل هنگام تولید هر توکن، واژگان بزرگی را بررسی می‌کرد که بخش زیادی از آن‌ها به‌ندرت در این وظیفه به کار می‌آمدند.

VocabX واژگان را با توجه به هزینهٔ هر توکن تخصصی‌سازی می‌کند، نه صرفاً بسامد آن. طبق توضیح مقاله، در این آزمایش مدل پایه، داده‌ها و دستورالعمل آموزش ثابت ماندند و فقط واژگان توکنایزر بازسازی شد. نویسندگان تأکید می‌کنند که ارقام از نسخهٔ فعلی مقاله به دست آمده‌اند؛ مقاله هنوز در دست داوری است و نتایج ممکن است پیش از انتشار تغییر کنند.