معیار EDB-Bio توانایی مدل‌های زبانی در سنجش شواهد زیستی را می‌سنجد

پژوهشگران در پیش‌چاپی در arXiv بنچمارک EDB-Bio را برای ارزیابی توانایی مدل‌های زبانی در سنجش شواهد علمی معرفی کرده‌اند. هر یک از ۹۶ هزار نمونهٔ این مجموعه، نتایج آزمایش‌هایی از پژوهش‌های منتشرشده را به‌صورت دنباله‌ای ارائه می‌کند و از مدل می‌خواهد احتمال درستی یک فرضیهٔ هدف را پیش‌بینی کند.

این بنچمارک داده‌هایی از سه حوزه را در بر می‌گیرد: ترنسکریپتومیکِ پاسخ به مداخلهٔ دارویی، غربالگری‌های CRISPR و مطالعات ارتباط گستردهٔ ژنومی انسان (GWAS). نویسندگان می‌گویند هم مدل‌های متن‌بازِ دارای وزن در دسترس و هم مدل‌های پیشرفته، در ارزیابی اولیه الگوهای خطای نظام‌مند نشان می‌دهند. بخش در دسترس چکیده ادامهٔ یافته‌ها را ارائه نمی‌کند؛ بنابراین جزئیات این الگوها و عملکرد مدل‌ها روشن نیست.