هوش مصنوعی
FlowTranslator ترجمهٔ متن داخل تصویر را بدون آموزش اختصاصی هدف می‌گیرد
چارچوب پژوهشی FlowTranslator از OCR، یک مدل زبانی بزرگ و مدل diffusion متن‌به‌تصویر برای جایگزینی نوشته‌ها با ترجمه‌شان استفاده می‌کند؛ چکیدهٔ در دسترس جزئیات کامل روش را نشان نمی‌دهد.
پژوهشگران در پیش‌چاپی در arXiv چارچوبی به نام FlowTranslator معرفی کرده‌اند که متن داخل تصویر را ترجمه می‌کند و می‌کوشد زمینهٔ بصری اطراف آن را حفظ کند. برخلاف مدل‌های اختصاصی این کار که به مجموعه‌های بزرگ تصویرهای جفت‌شده پیش و پس از ترجمه نیاز دارند، FlowTranslator به آموزش اختصاصی نیاز ندارد.
این چارچوب ابتدا با کمک یک مدل OCR متن تصویر را استخراج می‌کند و یک مدل زبانی بزرگ (LLM) را برای ساخت دستور ترجمه به کار می‌گیرد؛ سپس این دستور به مدل diffusion متن‌به‌تصویر داده می‌شود تا متن ترجمه‌شده را تولید کند. نویسندگان می‌گویند برای دقیق و طبیعی‌تر شدن متن، دو روش کنترل مسیر معرفی کرده‌اند؛ اما چکیدهٔ ارائه‌شده نام یکی از آن‌ها را هم کامل نمی‌کند و دربارهٔ نتایج ارزیابی عددی اطلاعاتی نمی‌دهد.
این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.
منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗
پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست
رد این داستان در رادار
خبرهای مرتبط از آرشیو منتشرشده