پژوهش: وزن‌دهی جداگانه به پاسخ‌ها در آموزش مدل‌های کوچک پزشکی اغلب بهتر است

پژوهشی در arXiv دو روش تنظیم دقیق نظارت‌شده را برای مدل‌های زبانی کوچک، با حداکثر ۹ میلیارد پارامتر، در پاسخ‌گویی به پرسش‌های پزشکی مقایسه کرده است. این مدل‌ها می‌توانند به اجرای محلی پرسش‌وپاسخ پزشکی کمک کنند و نگرانی‌های مربوط به حریم خصوصی و تأخیر را کاهش دهند، اما آموزش مؤثر آن‌ها همچنان دشوار است.

در روش Uniform-across-Sequence (UaS)، خطا در سراسر زنجیرهٔ استدلال و پاسخ با وزن یکسان محاسبه می‌شود. روش Segment-weighted (SwS) وزن خطای بخش استدلال و پاسخ را جداگانه تعیین می‌کند. پژوهشگران شش مدل عمومی و پزشکی را در آزمون‌های چندگزینه‌ای MedQA و EMS-MCQA و آزمون پاسخ آزاد Med-O1 ارزیابی کردند.

نتایج نشان می‌دهد هیچ‌یک از دو روش در همهٔ آزمون‌ها برتری ندارد. در MedQA و EMS-MCQA، روش SwS عموماً عملکرد بهتری داشت و مدل‌های عمومی بیشترین سود را بردند. چکیدهٔ منتشرشده جزئیات نتیجهٔ آزمون Med-O1 را بیان نمی‌کند.