هوش مصنوعی
پژوهشگران روشی برای هدایت مقاوم‌تر مدل‌های زبانی با بازخورد معرفی کردند
پیش‌چاپی در arXiv، راهبردی مبتنی بر کنترل حلقه‌بسته را برای هدایت LLMها شرح می‌دهد که در آزمون‌های گزارش‌شده، به‌ویژه در شرایط خارج از توزیع، از روش‌های پایه بهتر عمل کرده است.
پژوهشگران در پیش‌چاپی در arXiv، هدایت مدل‌های زبانی بزرگ (LLM) را مسئله‌ای در کنترل بازخوردی صورت‌بندی کرده‌اند: به‌جای اعمال مداخله‌ای ثابت، روش آن‌ها تغییرات را بر اساس وضعیت درونی شبکه تنظیم می‌کند. ایده از تحریک عصبی حلقه‌بسته الهام گرفته است؛ رویکردی که مداخله را به وضعیت جاری سامانه وابسته می‌کند.
پژوهشگران برای مقابله با تفاوت میان مدل‌های دینامیکی ساده‌شده و رفتار غیرخطی ترنسفورمر، از کنترل مقاوم استفاده کرده‌اند. یکی از پیاده‌سازی‌های این چارچوب، کنترل‌گر مبتنی بر H∞ است که حساسیت به اغتشاش‌ها و ناهماهنگی‌های ناشی از خطی‌سازی را محدود می‌کند. بنا بر چکیدهٔ مقاله، این کنترل‌گر در چند معیار سنجش هدایت، از روش‌های پایه بهتر عمل کرده و برتری آن در شرایط خارج از توزیع و با پیچیدگی‌های متفاوت طول متن چشمگیرتر بوده است.
مقاله همچنین معیاری به نام «هدایت‌پذیری مقاوم» معرفی می‌کند که میزان تحمل روش در برابر ناهماهنگی مدل دینامیکی را پیش از استقرار می‌سنجد. این معیار در جفت‌های مختلف مدل و وظیفه، الگوهای وابسته به وظیفه نشان می‌دهد و با مقیاس مدل نیز به‌طور نظام‌مند تغییر می‌کند. مقاله فعلاً پیش‌چاپ است و متن منبع دربارهٔ جزئیات عددی نتایج اطلاعاتی ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده