معرفی ProSearch؛ بنچمارکی برای بازیابی پروتکل‌های آزمایشگاهی با چند قید

پژوهشگران در پیش‌چاپی در arXiv از ProSearch رونمایی کرده‌اند؛ بنچمارکی برای ارزیابی این‌که سامانه‌ها تا چه اندازه می‌توانند در علوم آزمایشگاهی پروتکل‌هایی را پیدا کنند که هم‌زمان چند شرط وابسته به یکدیگر را برآورده می‌کنند. به‌گفتهٔ نویسندگان، بنچمارک‌های موجود این توانایی را به‌شکل نظام‌مند ارزیابی نمی‌کنند؛ درحالی‌که طراحی آزمایش و بازتولید روش‌ها به چنین جست‌وجویی نیاز دارد.

پرس‌وجوهای ProSearch بر پایهٔ سوابق واقعی آزمایش‌ها و قالب‌هایی که متخصصان تعریف کرده‌اند ساخته شده‌اند. این بنچمارک ۶۰ حوزهٔ آزمایشی و وابستگی میان آن‌ها را پوشش می‌دهد و برای هر پرس‌وجو ۳ تا ۵ قید صریح در نظر می‌گیرد؛ از جمله شرط‌های عددی و منفی. چکیدهٔ در دسترس می‌گوید ساخت آن با استخراج مبتنی بر مدل زبانی بزرگ و انتخاب داده‌محور قیود انجام شده است، اما توضیح جزئیات بیشتر در متن ارائه‌شده کامل نیست.