VenusGenome از زمینهٔ ژنومی برای یادگیری بازنمایی ژنوم میکروب‌ها استفاده می‌کند

پژوهشگران در پیش‌چاپی در arXiv مدل VenusGenome را معرفی کرده‌اند؛ یک خودرمزگذارِ ماسک‌شده در سطح ژن که از اطلاعات ژن‌های همسایه برای یادگیری بازنمایی ژنوم‌های میکروبی استفاده می‌کند. ایدهٔ مدل بر این مشاهده استوار است که بازنمایی پروتئینِ یک ژن را می‌توان تا حدی از بازنمایی پروتئین ژن‌های اطراف آن پیش‌بینی کرد. VenusGenome با پنهان‌کردن بخش بزرگی از ورودی‌ها، مدل را به بازسازی آن‌ها از زمینهٔ محدودتر وامی‌دارد.

برای پرهیز از برداشت نادرست از ساختار داده‌های ژنومی، توجه مدل به مرزهای contig، جهت نسبی رشته‌ها و موقعیت ژن‌ها وابسته است. این تمایز اهمیت دارد، چون ترتیب contigهای جداگانه لزوماً نشان‌دهندهٔ مجاورت زیستی نیست و برچسب رشته‌ها نیز به جهت مرجع بستگی دارد. مدل از بازنمایی‌های پروتئینیِ ثابت به‌عنوان ورودی ژن‌ها استفاده می‌کند.

پژوهشگران VenusGenome را روی مجموعه‌ای پالایش‌شده شامل بیش از ۱٫۷ میلیون مونتاژ ژنوم میکروبی از منابع ایزوله و متاژنومی پیش‌آموزش دادند. بازنمایی‌های ثابتِ حاصل، در ارزیابی وظایف پیش‌بینی فنوتیپ در سطح ژنوم و چند وظیفهٔ سطح ژن، در ۹ مورد از ۱۱ معیار اصلی بالاترین میانگین عملکرد را در میان مدل‌های بررسی‌شده به دست آوردند.

تحلیل اکتشافیِ تغییر ورودی ژن نیز حساسیت بازنمایی‌ها را با نقص‌های برازش اندازه‌گیری‌شده در آزمایش‌ها مرتبط دانست. آزمایش‌های حذف مؤلفه‌ها از نقش توجهِ آگاه از ساختار ژنوم حمایت کردند و نشان دادند خودرمزگذاری ماسک‌شده نسبت به مدل‌سازی ماسک‌شده به سبک BERT سودمند است؛ نسبت‌های ماسک‌گذاری بالاتر نیز بهبود بیشتری به همراه داشتند. این نتایج در یک پیش‌چاپ گزارش شده‌اند.