پژوهش
پژوهش: مدار جمع پیمانه‌ای در ترنسفورمر، اعوجاج و وارونگی جهت موضعی دارد
پیش‌چاپی در arXiv هندسهٔ محلی یک ترنسفورمر یک‌لایه را بررسی می‌کند و نشان می‌دهد نگاشت‌های آموزش‌دیده، برخلاف ضرب مختلط ایده‌آل، کاملاً هم‌شکل نیستند.
پژوهشگران در پیش‌چاپی در arXiv، هندسهٔ دیفرانسیل محلیِ مداری مبتنی بر تبدیل فوریه را بررسی کرده‌اند که در یک ترنسفورمر یک‌لایه، جمع پیمانه‌ای را انجام می‌دهد. الگوریتم این مدل پیش‌تر مهندسی معکوس شده بود.
آن‌ها سهم شبکهٔ چندلایهٔ پرسپترون (MLP) را برای هر یک از پنج فرکانس کلیدی فوریه، روی صفحهٔ ورودی و خروجی متناظر سنجیدند و نگاشت را زیر اغتشاش پیوستهٔ ورودی بررسی کردند. به‌گزارش پژوهش، نگاشت‌های آموزش‌دیده اعوجاج غیرهم‌شکل دارند؛ میانهٔ اندازهٔ ضریب بلمی در آن‌ها بین ۰٫۳۰۴ و ۰٫۴۴۶ است. پژوهش همچنین از سازمان‌یافتگی فضایی در آرگومان این ضریب و نواحی‌ای با وارونگی جهت موضعی خبر می‌دهد.
در مقابل، محدودیت‌های غیروابستهٔ ضرب مختلط ایده‌آل هم‌شکل‌اند. چکیده می‌گوید میانهٔ مقدار این سنجه در فرکانس‌ها از ۰٫۹۳۹ هنگام مقداردهی اولیه به ۰٫۳۹۰ کاهش می‌یابد؛ متن در دسترس جزئیات بیشتری دربارهٔ تفسیر این تغییر ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده