پژوهش: مدل‌های زبانی ممکن است از یک نظرخواهی، پیشنهادهای متفاوتی بسازند

پژوهشی که به‌صورت پیش‌چاپ در arXiv منتشر شده، بررسی می‌کند آیا مدل‌های زبانی بزرگ (LLM) هر بار از مجموعه‌ای یکسان از نظرهای شهروندان، پیشنهادهای جمعی یکسانی می‌سازند یا نه. اهمیت این پرسش به تکلیف‌هایی برمی‌گردد که پیشنهادها تعیین می‌کنند: چه کسی باید کاری انجام دهد، چه کاری و با چه هزینه‌ای و تا چه زمانی.

پژوهشگران چهار میانجی LLM را آزمودند: سه مدل با وزن‌های باز و یک مدل تجاری. آن‌ها برای هر وظیفه، با استفاده از ۳۰ نظر از DeliberationBank و Polis، پنج بار پیشنهاد تهیه کردند و هر بار یا بذر تصادفی یا ترتیب نظرها را تغییر دادند.

بر اساس چکیده، در ۱۷ درصد از مجموعه‌های پنج‌بارهٔ مدل‌های با وزن‌های باز و ۲۰ درصد از مجموعه‌های مدل تجاری، دست‌کم بخشی از تکلیف‌های پیشنهادی تغییر کرد. نویسندگان هشدار می‌دهند که در چنین وضعی، انتشار تنها یک پیشنهاد می‌تواند جایگزین‌هایی را که شرکت‌کنندگان هرگز ندیده‌اند پنهان کند.