هوش مصنوعی
روش تازه‌ای برای ادغام مدل‌های استدلالی بلند با مدل‌های پاسخ‌گوی کوتاه
پژوهشگران در پیش‌چاپی در arXiv، چارچوبی بدون آموزش تازه معرفی کرده‌اند که با برآوردهای کم‌رتبه از اطلاعات انحنای تابع زیان، دو سبک مدل را ادغام می‌کند.
پژوهشگران روش «ادغام سلسله‌مراتبی کم‌رتبه» (LHM) را برای ترکیب توان استدلال مدل‌های دارای زنجیره‌فکر طولانی با پاسخ‌های موجز مدل‌های پایه پیشنهاد کرده‌اند. به‌گفتهٔ چکیدهٔ مقاله، روش‌های پیشین که بر درون‌یابی خطی و آمار مرتبهٔ اولِ فعال‌سازی تکیه دارند، واکنش تابع زیان به جابه‌جایی پارامترها را به‌خوبی در نظر نمی‌گیرند و ممکن است دقت را در وظایف دشوار کاهش دهند.
LHM به‌جای این آمارهای ابتکاری، از اطلاعات سبک‌وزن مرتبهٔ دوم دربارهٔ انحنای تابع زیان استفاده می‌کند. یکی از اجزای روش، تقریب کم‌رتبهٔ ماتریس Hessian است که ردّ این ماتریس را برای هر لایه با برآوردگر Hutchinson و ورودی‌های تصادفی تخمین می‌زند؛ بنا بر چکیده، این کار نیاز به دادهٔ ویژهٔ یک وظیفه را برطرف می‌کند. متن در دسترس معرفی دو جزء دیگر روش را توضیح نمی‌دهد و دربارهٔ نتایج آزمایش‌ها نیز اطلاعاتی ارائه نشده است.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده