هوش مصنوعی

EvoWorld می‌کوشد به مدل‌های ویدئوساز توانایی پیش‌بینی پیامد رویدادها را بدهد

چارچوب پژوهشی تازه‌ای از یک مدل بینایی‌ـ‌زبان برای پیگیری وضعیت جهان و استدلال دربارهٔ واکنش‌های علّی استفاده می‌کند؛ حتی وقتی رویدادها از قاب تصویر خارج می‌شوند.

۲ دقیقه مطالعه

مدل‌های ویدئوساز معمولاً در ساخت تصاویر باورپذیر توانمندند، اما ممکن است نتوانند پیامدهای یک رویداد را برای موجودات و اشیای صحنه به‌درستی دنبال کنند. برای نمونه، ظاهرشدن یک جانور وحشی باید در صورت لزوم باعث واکنش فردی نزدیک به آن شود؛ نه اینکه مدل فقط جانور را به تصویر اضافه کند. پژوهشگران در مقاله‌ای پیش‌چاپ در arXiv این مسئله را «تکامل علّی خارج از دید» نامیده‌اند: مدل باید رویدادی را نشان دهد، پیامدهایش را برای وضعیت در حال تغییر جهان استنباط کند و نتیجه‌ای علّی و باورپذیر بسازد؛ حتی اگر بخشی از تحول در خارج از قاب رخ دهد.

راهکار پیشنهادی، EvoWorld، همکاری میان یک «مغز» و یک «رندرگر» است. یک مدل بینایی‌ـ‌زبان بخش‌های تولیدشدهٔ ویدئو را مشاهده می‌کند، تصویری به‌روز از وضعیت جهان نگه می‌دارد و دربارهٔ تغییرات محتمل آن استدلال می‌کند. سپس رندرگر ویدئو، تغییرات را به‌صورت بخش‌های پی‌درپی به تصویر می‌کشد.

این گروه همچنین EvoWorld-Data را برای آموزش و EvoWorld-Bench را برای ارزیابی معرفی کرده است. این مجموعه‌ها تحقق رویداد، واکنش‌های علّی و سازگاری هنگام بازگشت به صحنه را می‌سنجند. نویسندگان می‌گویند آزمایش‌ها نشان داده‌اند EvoWorld در تکامل علّیِ وابسته به رویداد از مدل‌های اخیر بهتر عمل می‌کند و کیفیت بصری و سازگاری را حفظ می‌کند. متن منبع جزئیات کمی دربارهٔ طراحی آزمایش‌ها و اندازهٔ این بهبود ارائه می‌دهد.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست