هوش مصنوعی

روش SFA شتاب توجه در مدل‌های انتشار را با حفظ تعاملات محلی هدف می‌گیرد

پژوهشگران در پیش‌چاپی در arXiv روشی با پیچیدگی محاسباتی O(N log N) معرفی کرده‌اند که مناطق دورتر را در مقیاس‌های درشت‌تر خلاصه می‌کند.

۱ دقیقه مطالعه
Figure 1: Motivation and construction of SFA ( ours ). (A) Image regions at center distances r 0 , 2 ​ r 0 , 4 ​ r 0 r_{0},2r_{0},4r_{0} from query 𝒒 i {\bm{q}}_{i} have side lengths s , 2 ​ s , 4 ​ s s,2s,4s . The smal
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

مدل‌های انتشار مبتنی بر ترنسفورمر در تولید تصویر پیشرفت کرده‌اند، اما شتاب‌دادن به سازوکار توجه در وضوح‌های بالا، بدون افت کیفیت تولید، همچنان چالش‌برانگیز است. پژوهشگران در پیش‌چاپی با معرفی Scale-Free Attention (SFA)، روشی الهام‌گرفته از فیزیک آماری پیشنهاد کرده‌اند که تعاملات محلیِ ظریف را حفظ می‌کند و در عین حال، مناطق دورتر تصویر را در مقیاس‌های به‌تدریج درشت‌تر خلاصه می‌کند.

طبق چکیدهٔ مقاله، SFA با ترکیب میانگین‌گیری از توکن‌ها، تصحیح شمار توکن‌ها و یک softmax مشترک روی سلسله‌مراتبی فضایی با مقیاس‌های مختلف، برای N توکن در گذرهای رو‌به‌جلو و پس‌رو پیچیدگی O(N log N) دارد. پیاده‌سازی پژوهشگران با Triton، در آزمونی با ۲۶۲٬۱۴۴ توکن، سرعت توجه رو‌به‌جلو را ۳۵۷٫۳ برابر و سرعت گذر پس‌رو را ۲۶۵٫۶ برابر FlashAttention گزارش می‌کند. این ارقام در چکیدهٔ پیش‌چاپ آمده‌اند و به‌تنهایی دربارهٔ کیفیت نهایی تولید تصویر اطلاعاتی نمی‌دهند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست