معیار WeGenEditBench برای ارزیابی جزئی‌تر مدل‌های ویرایش تصویر معرفی شد

پژوهشگران در پیش‌چاپی در arXiv، بنچمارک WeGenEditBench را برای ارزیابی و بهبود مدل‌های ویرایش تصویر معرفی کرده‌اند. به‌گفتهٔ نویسندگان، امتیازهای کلی ممکن است نشان ندهند که مدل کدام الزام‌های جزئی درخواست را رعایت نکرده است؛ درحالی‌که ویرایش تصاویر واقعی به هماهنگی چند تغییر بصری، حفظ محتوای اصلی و رعایت محدودیت‌های ارجاعی نیاز دارد.

WeGenEditBench شامل ۲۷۴۰ نمونهٔ ارزیابی و ۱۴۸ نوع وظیفه در سه گروه ویرایش تک‌تصویری، ویرایش متن‌محور و ویرایش با چند تصویر مرجع است. برای شکستن هر درخواست به الزام‌های کوچک‌تر، بنچمارک از چک‌لیست‌های ازپیش‌تولیدشده‌ای استفاده می‌کند که میان مدل‌ها مشترک‌اند. ابتدا موارد رعایت‌نشده و شواهد بصری در سطح هر الزام ثبت می‌شوند و سپس نتایج در امتیازهای اجرای ویرایش، حفظ محتوا، کیفیت بصری و درستیِ متناسب با وظیفه خلاصه می‌شوند. چکیدهٔ منبع دربارهٔ نتایج ارزیابی یا اثر این روش بر بهبود مدل‌ها جزئیات بیشتری ارائه نمی‌کند.