چارچوبی برای کاهش زمان استدلال عامل‌های جست‌وجوی چندوجهی معرفی شد

پژوهشگران Apple چارچوبی به نام Selection-based Structured Reasoning یا SSR معرفی کرده‌اند که استدلال عامل‌های چندوجهی را از تولید متن آزاد به انتخاب میان گزینه‌های ازپیش‌تعریف‌شده و تکرارپذیر تبدیل می‌کند. هدف، کم‌کردن هزینهٔ استنتاج مدل‌های کوچک است؛ این مدل‌ها ممکن است پیش از هر اقدام، استدلالی طولانی تولید کنند که راهنمایی چندانی برای انتخاب اقدام بعدی ندارد.

در SSR، مدل با توجه به بافت فعلی یکی از گزینه‌های استدلال را برمی‌گزیند. پژوهشگران می‌گویند این روش به سرِ وظیفهٔ کمکی نیاز ندارد و امکان امتیازدهی موازی به گزینه‌ها را فراهم می‌کند: احتمال توکن‌های هر گزینه با استفادهٔ مشترک از حافظهٔ KV بافت، هم‌زمان محاسبه می‌شود.

این چارچوب روی هفت معیار جست‌وجوی چندوجهی و با مدل‌های ۲ و ۴ میلیاردپارامتری ارزیابی شد. به‌گزارش پژوهشگران، SSR در تنظیم دقیق نظارت‌شده و چند هدف یادگیری تقویتی، کارایی را بهبود داد بی‌آنکه عملکرد وظیفه افت کند. میانگین نرخ موفقیت آن با عامل‌های جست‌وجوی پیشرو در همان مقیاس رقابتی بود؛ تأخیر استدلال در هر نوبت بیش از ۹۰ درصد و زمان کل استنتاج مدل برای هر پرسش ۲۸ تا ۵۴ درصد کاهش یافت.