هوش مصنوعی
روش تازه برای رمزگشایی موازی در مدل‌های زبانی انتشار، گام‌های کمتری می‌خواهد
این روش به‌جای شباهت پیش‌بینی توکن‌ها، می‌سنجد تثبیت یک توکن چه اثری بر اطمینان مدل دربارهٔ توکن‌های دیگر می‌گذارد.
پژوهشگران روشی برای انتخاب توکن‌هایی معرفی کرده‌اند که مدل‌های زبانی انتشار می‌توانند در یک گام هم‌زمان تثبیت کنند. در ارزیابی روی سه مدل و چهار بنچمارک، این روش نسبت به رمزگشایی mean-field به گام‌های بسیار کمتری نیاز داشت و در بیشتر تنظیمات سریع‌تر بود؛ هزینهٔ آن کاهش میانگین ۱٫۱ واحدی دقت بود.
رمزگشایی mean-field جفت موقعیت‌هایی را جریمه می‌کند که پیش‌بینی‌هایشان شبیه یکدیگر است. روش پیشنهادی، به‌جای این معیار جانشین، «کوپلینگ» را اندازه می‌گیرد: اینکه تثبیت یک توکن تا چه اندازه اطمینان مدل دربارهٔ توکن دیگری را تغییر می‌دهد. این اندازه‌گیری با probeهای کم‌هزینه در جریان اجرای اصلی مدل انجام می‌شود و به آموزش یا مدل جداگانه نیاز ندارد؛ همچنین می‌توان آن را در همان قاعدهٔ mean-field به‌کار گرفت.
پژوهشگران می‌گویند این بهبود با استفاده از key-value cache نیز دیده شد. در مقابل، درهم‌ریختن مقادیر کوپلینگ یا جایگزین‌کردن آن‌ها با یک امتیاز یکنواخت، این دستاورد را از بین برد. مقاله در arXiv منتشر شده و پیش‌چاپ است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده