پیش‌چاپ: بازخورد تأملی مدل‌های زبانی در آزمایش‌های پروتئینی برتری روشنی نشان نداد

پژوهشگران در پیش‌چاپی در arXiv بررسی کردند که آیا بازخورد تکرارشوندهٔ مدل زبانی می‌تواند پیش‌بینی‌گرهای زیستی را زمانی بهتر کند که در هر مرحله فقط یک پلیت داده در دسترس است. آن‌ها سه عامل را جداگانه سنجیدند: پیشنهاد ویرایش مدل، انتخاب اندازه‌گیری‌ها و بازنگری تصمیم‌ها بر پایهٔ بازخوردهای پی‌درپی.

این بررسی ۳۶ آزمون ProteinGym را بازپخش کرد. فرایند با ۹۶ برچسب آغاز شد و در هر یک از شش دور، ۹۶ برچسب دیگر به دست آمد؛ مجموعهٔ آزمون نیز از فرایند جدا و محفوظ ماند. در مقایسهٔ ازپیش‌تعیین‌شدهٔ کنترل کامل با مدل زبانی و ویرایش تصادفی، تفاوت همبستگی رتبه‌ای مجموعهٔ آزمون ۰٫۰۰۸- بود (بازهٔ اطمینان ۹۵درصد: از ۰٫۰۳۴- تا ۰٫۰۱۸+). بنابراین، برتری کنترل کامل آشکار نشد؛ اما داده‌ها برای اثبات هم‌ارزی دو روش هم کافی نبودند.

در تحلیل‌های اکتشافی، وقتی انتخاب داده‌ها به‌صورت تصادفی ثابت نگه داشته شد، ویرایش‌های مدل زبانی بهبودهایی نشان دادند. چکیدهٔ در دسترس جزئیات بیشتری از این نتیجه ارائه نمی‌کند.