آزمونی سخت‌گیرانه‌تر برای سنجش پیش‌بینی بازده سهام با مدل‌های زبانی

پژوهشگران در پیش‌چاپی با عنوان «Thinking Fast, Trading Late» می‌پرسند چه میزان از توانایی ظاهری مدل‌های زبانی بزرگ در پیش‌بینی بازده سهام، پس از حذف نگاه به آینده، حفظ‌کردن داده‌ها و سوگیری انتخاب باقی می‌ماند. آن‌ها برای این ارزیابی پروتکل OLIVIA را پیشنهاد می‌کنند: ورودی‌های زمان‌مند با هویت شرکت‌های پنهان، انتخاب مدل فقط بر پایهٔ داده‌های اعتبارسنجی، ثبت طرح تحلیل با هش رمزنگاری‌شده و گشودن دورهٔ آزمون تنها یک‌بار، در فرایندی ثبت‌شده.

این پروتکل روی مدل‌های تصمیم‌گیری هوش مصنوعی آزمایش شده است؛ مدل‌هایی غیرمولد که در پاسخ به پرسش‌های ساختاریافته احتمال ارائه می‌کنند. موضوع آزمایش، خبرهای مربوط به سهام شرکت‌های S&P 500 بوده و شامل یک مدل با وزن‌های بازِ تنظیم‌شده با داده‌های سال‌های ۲۰۲۴ و ۲۰۲۵، سه مدل تجاری و چند خط پایهٔ استاندارد می‌شده است. چکیدهٔ ارائه‌شده در منبع در میانهٔ جملهٔ مربوط به سیگنال مدل تنظیم‌شده قطع می‌شود؛ بنابراین نتیجهٔ کامل آزمایش از اطلاعات موجود روشن نیست.