هوش مصنوعی
پژوهش: توکن نخست در مدل‌های عمیق Mamba توکن‌های بعدی را جذب می‌کند
تحلیل نظری و آزمایش روی Falcon-Mamba-7B نشان می‌دهد با افزایش عمق مدل، تمرکز توکن‌ها بر توکن نخست بیشتر می‌شود.
پژوهشی تازه در arXiv می‌گوید توکن نخست در مدل‌های عمیق Mamba نقشی ویژه دارد: جهت نهایی آن، توکن‌های بعدی را به خود جذب می‌کند و به خوشه‌شدن توکن‌ها و پدیده‌ای شبیه «مخزن توجه» می‌انجامد. آزمایش پژوهشگران روی Falcon-Mamba-7B نیز نشان داد این تمرکز در لایه‌های عمیق‌تر افزایش می‌یابد و در لایه‌های پایانی غالب می‌شود.
تحلیل پویایی توکن‌ها در Mamba، به‌دلیل تفاوت ساختاری آن با سازوکارهای attention دشوار است. در attention، تعامل توکن‌ها با ضرایب اسکالر مثبت توصیف می‌شود؛ اما در Mamba ضرایب تعامل ماتریسی‌اند و تضمینی برای مثبت یا معین‌بودن آن‌ها وجود ندارد. پژوهشگران برای بررسی این مسئله چارچوبی تحلیلی بر پایهٔ «جعبهٔ ناوردای پُربُعد» و استدلالی دربارهٔ زمان خروج ارائه کرده‌اند. به‌گفتهٔ مقاله، این روش امکان مشخص‌کردن نقاط حدیِ ممکن برای مسیر توکن‌ها و اثبات نرخ‌های همگرایی نمایی را فراهم می‌کند.
نویسندگان می‌گویند سازوکار جذب فقط به Mamba محدود نیست و می‌تواند در پویایی‌های توالیِ گسترده‌تری، از جمله مدل‌های فضای حالت، attention علّی و مدل‌های کلاسیک سری زمانی، دیده شود. این مقاله نسخهٔ پیش‌چاپی است که در arXiv منتشر شده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده