پژوهشگران مدلی از حافظهٔ فضایی پیشنهاد کرده‌اند که در تعمیم فراتر از داده‌های آموزشی موفق است

پیش‌چاپی در arXiv استدلال می‌کند که تعمیم به ورودی‌های بلندتر، به نوع اطلاعاتی بستگی دارد که مدل هنگام تصمیم‌گیری می‌خواند. به‌گفتهٔ نویسندگان، موقعیت، شمارش و زمان با بزرگ‌شدن ورودی مقادیر تازه‌ای می‌گیرند؛ اما رابطهٔ «یکسان بودن» دو چیز فقط دو حالت دارد. بنابراین، مدلی که بر چنین هم‌زمانی‌هایی تکیه می‌کند، ممکن است قاعده‌ای را که از نمونه‌های محدود آموخته به ورودی‌های بزرگ‌تر هم تعمیم دهد؛ برخلاف LSTMها و Transformerهایی که مقاله می‌گوید پس از آموزش با دنباله‌های کوتاه در دنباله‌های بلندتر شکست می‌خورند.

نویسندگان معماری‌ای مبتنی بر چرخه‌های حافظهٔ فضایی توصیف می‌کنند: چرخه‌ها اندازهٔ ورودی را در حافظه نگه می‌دارند، درحالی‌که قاعده‌ای که مدل می‌خواند ثابت می‌ماند. در این چارچوب، چرخه‌ها با «ماژول‌های شبکه‌ای» و سلول‌های تشخیص بازگشت آن‌ها با «سلول‌های مکانی» متناظرند؛ یک کنترل‌گر پیش‌پیشانی چرخه‌ها را جابه‌جا می‌کند، بی‌آنکه خود آن‌ها را ببیند. مقاله این سازوکار را راهی برای پیوند دادن حافظهٔ فضایی و توانایی‌هایی مانند حساب و دستور زبان می‌داند.

در آزمایش‌ها، مدل پس از آموزش روی رشته‌های حداکثر ۴۰ نمادی، در ۹ وظیفه از ۱۵ معیار برای طول‌های ۴۱ تا ۵۰۰ نماد به میانگین دقت دست‌کم ۹۹ درصد رسید؛ پنج مورد از این وظایف، به‌گفتهٔ مقاله، برای LSTM و Transformer حل‌نشده‌اند. همچنین مدل با دریافت چرخه‌های تازه پس از آموزش، رشته‌ای با ۱۵٬۰۱۵ نماد را بدون خطا وارونه کرد و در طول‌های بالاتر، مطابق منحنی پیش‌بینی‌شدهٔ نظریه شکست خورد. این مقاله پیش‌چاپی ۵۷صفحه‌ای است و یافته‌های آن در همین منبع به‌صورت پژوهشی منتشرشده و داوری‌شده معرفی نشده‌اند.