Latent-Lens راهی برای انتقال مستقیم اطلاعات تصویری به مدل‌های زبانی کوچک پیشنهاد می‌کند

سامانه‌های چندعاملی معمولاً اطلاعات را میان مدل بینایی‌ـ‌زبانی (VLM) و مدل زبانی کوچک (SLM) به‌شکل متن ردوبدل می‌کنند؛ روشی که ممکن است جزئیات مکانی و ظریف تصویر را از بین ببرد. این گلوگاه برای SLMها، که ظرفیت محدودی دارند و به کیفیت ورودی وابسته‌ترند، اهمیت بیشتری دارد.

پژوهشگران در پیش‌چاپ Latent-Lens می‌گویند روش‌های ارتباط نهفته پیشین تبادل حالت‌ها میان مدل‌های زبانی را بررسی کرده‌اند، اما انتقال اطلاعات تصویری از یک VLM به یک SLM متنیِ ازپیش‌آموزش‌دیده همچنان بررسی‌نشده مانده است. آن‌ها Latent-Lens را کُدِکی سبک برای اتصال مستقیم بازنمایی‌های یک VLM ثابت و یک SLM ثابت در فضای نهفته معرفی می‌کنند. چکیدهٔ در دسترس جزئیات بیشتری دربارهٔ روش یا نتایج آن ارائه نمی‌دهد.