هوش مصنوعی
فشرده‌سازی نهفته، مصرف توکن عامل‌های هوش مصنوعی را تا ۸۹ درصد کاهش داد
پژوهشگران مدلی به نام Coca-Cola معرفی کرده‌اند که خروجی ابزارها را به توکن‌های نهفته تبدیل می‌کند؛ در آزمایش عامل‌های جست‌وجوی وب، این روش هم مصرف توکن را کم کرد و هم عملکرد را بهبود داد.
عامل‌های مبتنی بر مدل‌های زبانی بزرگ معمولاً خروجی ابزارهایی مانند جست‌وجوی وب را به‌شکل متن خام به زمینهٔ مکالمه اضافه می‌کنند. این خروجی‌ها در تعامل‌های چندمرحله‌ای می‌توانند زمینه را طولانی و پرنویز کنند و توجه عامل را از اطلاعات مرتبط با کار دور سازند. روش‌های رایجِ حذف توکن یا خلاصه‌سازی نیز به نمایش متنی محدودند و همین موضوع، میزان فشرده‌سازی را محدود می‌کند.
پژوهشگران در پیش‌چاپی در arXiv، مدلی با نام Coca-Cola پیشنهاد کرده‌اند که به‌جای نگه‌داشتن مشاهدات ابزارها به‌صورت متن، آن‌ها را به توکن‌های نهفتهٔ پیوسته فشرده می‌کند و این توکن‌ها را در فضای embedding ورودی عامل قرار می‌دهد. روش آموزش این مدل، Action-Preserving Training، توزیع کنش بعدی عامل را هنگام استفاده از مشاهدهٔ کامل و نسخهٔ فشرده با هم هم‌تراز می‌کند تا اطلاعات لازم برای تصمیم‌گیری حفظ شود.
آزمایش‌ها روی عامل‌های جست‌وجوی وب، چهار بنچمارک پرسش‌وپاسخ و دو خانوادهٔ مدل انجام شده‌اند. طبق چکیدهٔ پژوهش، Coca-Cola مصرف توکن را ۷۰٫۰۱ تا ۸۹٫۲۴ درصد و زمان اجرای سرتاسری را ۲۴٫۴۵ تا ۵۵٫۹۷ درصد کاهش داده و در عین حال عملکرد کار را به‌طور پیوسته بهبود بخشیده است. این نتایج به همان مجموعهٔ آزمایش‌ها محدودند؛ متن منبع جزئیات بیشتری دربارهٔ بنچمارک‌ها یا میزان بهبود عملکرد ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده