روشی برای پروفایل‌سازی مدل‌های زبانی با آزمون‌های کمتر معرفی شد

پیش‌چاپی در arXiv به بررسی روشی برای سنجش کارآمدتر ویژگی‌های مدل‌های زبانی بزرگ (LLM) می‌پردازد. چکیدهٔ مقاله می‌گوید انتخاب میان صدها هزار مدل موجود، مستلزم شناخت ویژگی‌های هرکدام است؛ اما در عمل، هر ویژگی معمولاً با مجموعه‌آزمون جداگانه‌ای ارزیابی می‌شود و سنجش چندین ویژگی، هزینهٔ ارزیابی را افزایش می‌دهد.

راهکار مورد بحث، فشرده‌کردن هر مدل در یک بردار با طول ثابت است تا ویژگی‌های مختلف از روی آن پیش‌بینی شوند. به‌گفتهٔ نویسندگان، روش‌هایی مانند EmbedLLM این بردارها را از الگوهای پاسخ درست و ویژگی‌های پرسش می‌سازند و اغلب به مجموعهٔ بزرگی از پرسش‌های آزمایشی نیاز دارند. چکیده همچنین تأکید می‌کند که ویژگی‌هایی مانند پرگویی، ایمنی و سبک پاسخ، بیش از آنکه در درست یا نادرست بودن پاسخ دیده شوند، در چگونگی پاسخ‌دادن مدل نمایان می‌شوند. متن در دسترس دربارهٔ جزئیات روش پیشنهادی یا نتایج ارزیابی آن اطلاعاتی ارائه نمی‌کند.