Prism با خودآموزی دوطرفه، درک و تولید تصویر را در مدل‌های چندوجهی بهبود می‌دهد

پژوهشگران در پیش‌چاپی در arXiv روش Prism را برای پس‌آموزش مدل‌های چندوجهی یکپارچه معرفی کرده‌اند؛ مدل‌هایی که در یک سامانه هم تصویر را درک می‌کنند و هم می‌سازند. برخلاف روش‌هایی که درک را معلمی ثابت برای بهبود تولید می‌گیرند یا برای هر دو قابلیت به مسیرهای مرجعِ برچسب‌خورده متکی‌اند، Prism از خروجی‌های درهم‌آمیختهٔ خود مدل نظارت دوطرفه می‌سازد.

این روش مسیر تولیدشده را به دو زنجیرهٔ متن و تصویر تفکیک می‌کند، اعتبار هرکدام را می‌سنجد و بر اساس وضعیت آن‌ها هدف آموزشی متناظر می‌سازد. پژوهشگران Prism را روی SenseNova-U1 و BAGEL آزموده‌اند و از بهبود هم‌زمان درک و تولید گزارش داده‌اند. در SenseNova-U1، امتیاز GenEval از ۸۵٫۸ به ۸۹٫۲ و DPG از ۸۶٫۱ به ۸۷٫۳ رسید. در ارزیابی درک نیز امتیاز کلی MME از ۲۲۸۲٫۶ به ۲۳۱۱٫۶ و MMVP از ۵۸ به ۶۲ افزایش یافت. نویسندگان می‌گویند بهبودهای هم‌جهتی در BAGEL هم مشاهده شده است؛ در متن چکیده، اعداد مربوط به این مدل ارائه نشده‌اند.