هوش مصنوعی
MuSID-KD برای سبک‌ترکردن توصیه‌گرهای مولدِ مبتنی بر شناسهٔ معنایی پیشنهاد شد
پیش‌چاپی در arXiv روشی برای انتقال دانش معرفی می‌کند که به ساختار چندتوکنی شناسه‌های معنایی و تفاوت نقش جایگاه‌های آن‌ها در رتبه‌بندی توجه دارد.
در توصیه‌گرهای مولد مبتنی بر شناسهٔ معنایی (SID)، هر قلم به دنباله‌ای از توکن‌های گسسته تبدیل می‌شود و مدل با پیش‌بینی خودرگرسیوِ شناسهٔ قلم بعدی را پیشنهاد می‌کند. بااین‌حال، رمزگشایی پیاپی چند جایگاه SID هزینهٔ استنتاج را بالا می‌برد. تقطیر دانش می‌تواند دانسته‌های یک مدل مولدِ قدرتمند را به مدل کوچک‌تری منتقل کند، اما نویسندگان می‌گویند هدف‌های متداولِ این روش ساختار چندتوکنی تولید SID را به‌اندازهٔ کافی در نظر نمی‌گیرند.
پژوهش دو محدودیت را برجسته می‌کند: هم‌ترازی توزیع در سطح قلم ممکن است رتبه‌بندی معلم میان گروه‌هایی از گزینه‌ها را که پیشوند SID مشترک دارند حفظ نکند؛ و هم‌ترازی یکسان در همهٔ جایگاه‌های SID ممکن است اثر متفاوتی بر رتبه‌بندی نهایی قلم‌ها بگذارد. نویسندگان روش MuSID-KD را برای پرداختن به این مسائل پیشنهاد کرده‌اند. چکیدهٔ در دسترس، جزئیات کامل روش یا نتایج ارزیابی آن را ارائه نمی‌کند.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده