پژوهش
روش DAMI برای بهبود بازیابی متن‌های بلند در توجه خطی دروازه‌دار معرفی شد
پیش‌چاپی در arXiv روشی برای تنظیم هم‌زمان دو پارامتر حافظه پیش از آموزش پیشنهاد می‌کند؛ جزئیات چکیدهٔ در دسترس دربارهٔ نتیجه‌های عملکردی آن کامل نیست.
توجه خطی با افزایش طول دنباله، از نظر محاسباتی مقیاس‌پذیر است؛ اما حافظهٔ با حالت محدود آن ممکن است بازیابی اطلاعات از متن‌های بلند را دشوار کند. در بازگشت‌های خطی دروازه‌دار، میزان حفظ اطلاعات به زوال حالت وابسته است و پارامترهای دروازهٔ A_log و dt_bias، همراه با فعال‌سازی‌های ورودی، بر آن اثر می‌گذارند.
پژوهشگران در آزمایش‌های کنترل‌شده با Gated DeltaNet دریافتند هر دو پارامتر پس از آموزش همچنان هم‌بستگی زیادی با مقدارهای اولیه‌شان دارند. آن‌ها بر پایهٔ این مشاهده، روش Dual-Axis Memory Initialization یا DAMI را پیشنهاد می‌کنند که این دو پارامتر را پیش از آموزش به‌طور مشترک تنظیم می‌کند: مقیاس‌های زمانی هندسی میان سرها توزیع می‌شوند تا فاصله‌های گوناگون بازیابی پوشش داده شوند و حساسیت به ورودی در لایه‌ها الگویی کم‌بالا-کم پیدا می‌کند. چکیده می‌گوید نمونه‌ای کوچک از فعال‌سازی‌ها برای کالیبراسیون به کار می‌رود، اما متن موجود در منبع در میانهٔ توضیح این مرحله پایان می‌یابد و نتیجه‌های کمی روش را ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده