هوش مصنوعی
روش BCSM برای تقطیر کم‌مرحله‌ای مدل‌های انتشار گسسته معرفی شد
پیش‌چاپی در arXiv روشی برای هم‌ترازی هندسهٔ لگیت‌ها پیشنهاد می‌کند که مقایسه‌های زوجی را به مجموعه‌ای فعال با پیچیدگی خطی در K محدود می‌کند.
پیش‌چاپی با عنوان «Bidirectional Centered Score Matching for Discrete Diffusion Distillation» روش BCSM را برای تقطیر مدل‌های انتشار گسسته با رمزگشایی موازی معرفی می‌کند. نویسندگان می‌گویند هدف‌های رایجِ مبتنی بر KL در سطح توکن، با وجود تطبیق دقیق توزیع‌های بلوکیِ حاصل‌ضرب، ممکن است در تقطیر تهاجمی با تعداد گام کم نظارت کافی فراهم نکنند؛ هندسهٔ بهینه‌سازی آن‌ها در فضای احتمال و محدودکردن نامزدها به نمونه‌های معلم از جمله محدودیت‌های مطرح‌شده است.
روش جایگزین Concrete Score Matching هندسهٔ نسبی لگیت‌ها را در هر جایگاه هم‌تراز می‌کند، اما شکل کامل آن به‌دلیل مقایسهٔ همهٔ زوج‌ها پیچیدگی O(|V|²) دارد. BCSM با ساخت مجموعه‌ای فعال و دوسویه با پیچیدگی O(K)، تعداد مقایسه‌های زوجی را کاهش می‌دهد. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ نتایج تجربی یا میزان بهبود روش ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده