روش stacking برای ترکیب پیش‌بینی‌های مدل‌های احتمالاتیِ تولیدشده با مدل‌های زبانی

چارچوب Large Language Bayes (LLB) شرح یک مسئله را به زبان طبیعی به مجموعه‌ای از برنامه‌های احتمالاتی تبدیل می‌کند، در هر مدل استنباط انجام می‌دهد و پیش‌بینی‌هایشان را با میانگین‌گیری بیزی از مدل‌ها ترکیب می‌کند. اما به‌گفتهٔ نویسندگان پیش‌چاپ، مجموعهٔ مدل‌های کاندید در عمل اغلب با مسئله کاملاً سازگار نیست و تجمیع مبتنی بر درست‌نمایی ممکن است وزن‌ها را روی یک مدل متمرکز کند؛ در نتیجه، عدم‌قطعیت میان مدل‌های نمونه‌برداری‌شده کمتر از واقع بازتاب می‌یابد.

پژوهشگران برای رفع این مسئله، روش تجمیع مبتنی بر stacking را پیشنهاد می‌کنند. در این روش، وزن مدل‌ها با هدف بهینه‌سازی عملکرد پیش‌بینی انتخاب می‌شود، نه بر اساس درست‌نمایی حاشیه‌ای. چکیدهٔ در دسترس می‌گوید این روش فرایند تولید مدل با تکیه بر مدل زبانی را حفظ می‌کند، اما جزئیات بیشتر یا نتایج ارزیابی را ارائه نمی‌دهد.