هوش مصنوعی
LoCo می‌کوشد استدلال مدل‌های زبانی را با تصمیم‌گیری محلی کوتاه‌تر کند
روش پیشنهادی، حالت‌های احتمالیِ بیش‌ازحد فکرکردن را از ردپای استدلال مدل پیدا می‌کند و با آموزش ترجیحی، ادامه‌های کوتاه‌تر و راستی‌آزمایی‌شده را جایگزین می‌کند.
پژوهشگران در پیش‌چاپی در arXiv روش LoCo را برای کاهش هزینهٔ استنتاج در مدل‌های استدلالی بزرگ معرفی کرده‌اند. به‌گفتهٔ چکیدهٔ مقاله، این مدل‌ها گاهی پس از به‌دست‌آوردن اطلاعات کافی نیز به استدلال ادامه می‌دهند؛ رویکردهای پیشین عمدتاً مسیرهای استدلال را فشرده می‌کردند و کمتر به این تصمیم محلی می‌پرداختند که آیا از وضعیت فعلی، ادامه‌دادن لازم است یا نه.
LoCo حالت‌های نامزدِ بیش‌ازحد فکرکردن را از ردپای خود مدل شناسایی می‌کند، پیشوند استدلال مربوط به هر حالت را ثابت نگه می‌دارد و از همان نقطه ادامه‌های کوتاه‌تر و راستی‌آزمایی‌شده می‌سازد. سپس این جفت‌های ترجیحیِ وابسته به وضعیت را با روش DPO برای آموزش به کار می‌گیرد. چکیدهٔ در دسترس دربارهٔ نتایج کمّی روش اطلاعاتی ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده