هوش مصنوعی
SWIFT می‌کوشد «جزیره‌های اطلاعاتی» را در تنظیم تنک مدل‌های زبانی بشکند
پیش‌چاپی در arXiv چارچوبی به نام SWIFT معرفی می‌کند که با الهام از شبکه‌های کوچک‌جهان، اتصال میان ویژگی‌ها را در به‌روزرسانی‌های تنک تغییر می‌دهد.
تنظیم تنک (Sparse tuning) با آموزش‌دادن بخشی از پارامترها، راهی کم‌هزینه‌تر برای سازگارکردن مدل‌های زبانی بزرگ است؛ اما به‌گفتهٔ نویسندگان پیش‌چاپ، کارایی آن فقط به شمار پارامترهای قابل‌آموزش وابسته نیست و چگونگی اتصال ویژگی‌ها در ساختار به‌روزرسانی نیز اهمیت دارد. اتصال محدود یا نامتوازن ممکن است بعضی ابعاد ویژگی را از هم جدا کند و تعامل مستقیم آن‌ها را در جریان به‌روزرسانی محدود سازد.
نویسندگان برای رفع این مسئله، چارچوب Small-World Induced Fine-Tuning (SWIFT) را پیشنهاد می‌کنند. این روش به‌روزرسانی‌های تنکِ بلوکی را برای ترکیب محلی ویژگی‌ها با یک جایگشت پراکندگیِ ثابت و قطعی ترکیب می‌کند. منبع ارائه‌شده دربارهٔ نتایج ارزیابی این روش جزئیاتی ندارد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده