هوش مصنوعی
SaMA با گسترش نامتقارن حاصل‌ضرب کرونکر، رتبهٔ سازگارسازی را افزایش می‌دهد
پیش‌چاپی در arXiv روشی برای ریزتنظیم کم‌پارامتر معرفی می‌کند که به‌گفتهٔ نویسندگان، برخلاف LoRA می‌تواند با بودجهٔ پارامتری ثابت به رتبه‌های بالاتر برسد.
پژوهشگران در پیش‌چاپی با عنوان SaMA: Morpho Adaptation via Asymmetric Expansion of Kronecker Product روشی به نام Scalable Morpho Adaptation معرفی کرده‌اند؛ روشی برای ریزتنظیم کارآمد از نظر پارامتر که بر تعمیمی از حاصل‌ضرب کرونکر بنا شده است.
به‌گفتهٔ نویسندگان، LoRA دو محدودیت دارد: ساختار آن جهت‌های تختی در سطح زیان ایجاد می‌کند که بهینه‌سازی با بهینه‌سازهای تطبیقی را دشوار می‌سازد، و رتبهٔ مؤثرش با بودجهٔ پارامتری فقط به‌صورت خطی افزایش می‌یابد. SaMA با کنارگذاشتن قید بلوک‌های مشترک در تجزیهٔ perfect-shuffle، می‌تواند دامنه‌ای از رتبهٔ پایین تا رتبهٔ کامل را پوشش دهد. نویسندگان می‌گویند رتبهٔ عملی این روش با بودجهٔ پارامتری به‌صورت درجه‌دو مقیاس می‌گیرد و می‌تواند تا رتبهٔ کامل برسد.
این گزارش بر چکیدهٔ نسخهٔ پیش‌چاپ در arXiv متکی است؛ داده‌ای دربارهٔ ارزیابی تجربی روش در متن ارائه‌شده وجود ندارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده