پژوهشگران چارچوبی برای ارزیابی تصمیم‌های عامل‌های علمی معرفی کردند

پیش‌چاپی در arXiv چارچوب «پژوهش تصمیم‌محور» (Decision-Centric Research یا DCR) را برای ارزیابی انتخاب‌های عامل‌های علمی معرفی می‌کند؛ انتخاب‌هایی دربارهٔ شواهد، گام‌های بعدی و راهبرد پژوهش که سنجش مستقل آن‌ها در متن‌های تولیدشده دشوار است. DCR این تصمیم‌های منفرد را واحد مشترک نظارت، پیش‌بینی و ارزیابی قرار می‌دهد و آن‌ها را به‌صورت پیش‌بینی‌های نوع‌دار روی یک «وضعیت پژوهش» صریح تعریف می‌کند.

این چارچوب ۲۴ نوع تصمیم دارد که ۱۰ مورد از آن‌ها در بنچمارک RD-Bench پیاده‌سازی شده‌اند. این بنچمارک شامل ۲ هزار نمونه است که با قواعد تولید شده‌اند. مدل Decision-Centric Research Model (DCRM) نیز برای انواع مختلف تصمیم از یک سازوکار مشترکِ خوانش توکن‌های نامزد استفاده می‌کند تا در یک گذر، هم پاسخ و هم احتمال گزینه‌ها را تولید کند.

در تفکیک آزمون بر اساس حوزهٔ پژوهشیِ کنارگذاشته‌شده، نسخهٔ ۰٫۶ میلیاردپارامتری DCRM با آگاهی از وضعیت پژوهش به دقت Top-1 برابر با ۸۹٫۴ درصد دست یافت. اطلاعات موجود دربارهٔ پیش‌چاپ، جزئیات بیشتری از نتایج ارائه نمی‌کند.