هوش مصنوعی
پیش‌چاپی روش توجه تنک با مقیاس‌پذیری زیرمربعی برای مدل‌های زبانی پیشنهاد می‌کند
روش Zyphra Hierarchical Attention با استفاده از نمایه‌ای درختی، گلوگاه محاسباتی توجه در پردازش متن‌های بلند را هدف می‌گیرد؛ جزئیات ارزیابی آن در اطلاعات ارائه‌شده نیامده است.
پژوهشگران در پیش‌چاپی در arXiv روشی به نام Zyphra Hierarchical Attention (ZHA) معرفی کرده‌اند که با یک نمایه‌ساز درختیِ سلسله‌مراتبی، توجه تنک را با مقیاس‌پذیری زیرمربعی محاسبه می‌کند. این روش خلاصه‌های فشرده‌شدهٔ کلید را به‌صورت بازگشتی درخت‌بندی می‌کند تا پرس‌وجوهای بعدی بتوانند در ساختار درخت جست‌وجو کنند.
به‌گفتهٔ نویسندگان، روش‌های پیشین یا توان بازنمایی توجه را ندارند—مانند برخی گونه‌های توجه پنجره‌ای و خطی با حالت ثابت—یا با وجود تنک‌بودن توجه، نمایه‌سازشان همچنان مقیاس‌پذیری مربعی دارد و فقط بهبودهایی با ضریب ثابت ایجاد می‌کند. چکیدهٔ در دسترس دربارهٔ نتایج آزمایش‌ها یا میزان بهبود ZHA جزئیاتی ارائه نمی‌دهد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده