پژوهشگران چارچوبی تازه برای سنجش ردیابی وضعیت در مدل‌های زبانی پیشنهاد کردند

پژوهشگران در پیش‌چاپی با عنوان «A Fine-Grained Hierarchy and Benchmark for State Tracking in Language Models» چارچوبی سلسله‌مراتبی برای ارزیابی ردیابی وضعیت در مدل‌های زبانی پیشنهاد کرده‌اند؛ توانایی دنبال‌کردن اطلاعات مربوط به موجودیت‌ها یا متغیرها در متن‌های طولانی.

محدودیت‌های نظری Transformerها در این کار، به توسعهٔ معماری‌های بازگشتی زبان مانند Gated DeltaNet (GDN) انگیزه داده است. این معماری‌ها به‌ویژه با مسئلهٔ واژه‌ای S₅ سنجیده شده‌اند؛ مسئله‌ای دشوار که توانایی‌هایی مانند ارزیابی کد با انتساب دلخواه متغیرها را بازنمایی می‌کند. نویسندگان می‌گویند هنوز روشن نیست شکل‌های ساده‌تر ردیابی وضعیت، که شاید در کاربردهای عملی مرتبط‌تر باشند، بتوانند تفاوت‌های مشاهده‌شده میان معماری‌ها را توضیح دهند یا نه.

این پژوهش ارزیابی را بر پایهٔ مسئله‌های واژه‌ای در چهار سطح دشواریِ افزایشی پیشنهاد می‌کند. متن در دسترس جزئیات این چهار سطح یا نتایج ارزیابی را ارائه نمی‌دهد.