پژوهشگران: رمزگشایی حدسی می‌تواند دقت عامل‌های بلندمدت را تغییر دهد

در پیش‌چاپی در arXiv، پژوهشگران استدلال می‌کنند رمزگشایی حدسی (speculative decoding) برای عامل‌هایی که وظایف پیچیده و چندمرحله‌ای انجام می‌دهند، صرفاً بهینه‌سازی سرعت نیست. آن‌ها مدل‌های متن‌باز پیشرو را در وظایف عامل‌محور پیچیده با روش‌های مختلف رمزگشایی حدسی بررسی کردند و دریافتند نویز عددی در پنجره‌های راستی‌آزمایی افزایش می‌یابد. به گفتهٔ پژوهشگران، نتیجهٔ پذیرش توکن‌های مدل پیش‌نویس در فرایند استدلال می‌تواند پس از ۳۰ گام توزیع خروجی مدل را تغییر دهد و دقت استدلال عامل‌های بلندمدت را در جهت‌های مختلف تحت‌تأثیر بگذارد. چکیدهٔ در دسترس از ادامهٔ روش یا جزئیات نتایج بیشتر نمی‌گوید.