پژوهش تازه نقش وراثت نسخه‌ها را در بهینه‌سازی با مدل‌های زبانی می‌سنجد

بهینه‌سازهای تکرارشوندهٔ مبتنی بر مدل زبانی معمولاً یک پرامپت یا برنامه را ارزیابی می‌کنند، نمونه‌هایی از موارد شکست را به مدل پیشنهاددهنده نشان می‌دهند و نسخه‌هایی را نگه می‌دارند که عملکرد را بهتر کنند. پیش‌چاپی تازه در arXiv به مسئله‌ای در ارزیابی این روش‌ها می‌پردازد: پژوهش‌های پیشین، سازوکارهایی مانند خوشه‌بندی خطاها، انتخاب هدفمند مجموعه‌های کوچک داده یا استفاده از مدل پیشنهاددهندهٔ بزرگ‌تر را فقط در جست‌وجویی سنجیده‌اند که هر نسخه از یک نسخهٔ والدِ باقی‌مانده اصلاح می‌شود. بنابراین، اثر وراثت نسخهٔ والد از اثر گستردگی بازخورد هر مرحله جدا نبوده است.

نویسندگان می‌گویند پژوهش آن‌ها این دو عامل را از هم تفکیک می‌کند و گزارش می‌دهند که بررسی‌شان شامل ۱٬۷۵۰ اجرای ازپیش‌ثبت‌شده در ۹ معیارسنجِ تولید پرامپت و برنامه بوده است. چکیدهٔ ارائه‌شده نتیجهٔ مقایسه‌ها را بیان نمی‌کند؛ از این‌رو نمی‌توان بر پایهٔ آن گفت کدام عامل بهبود بیشتری ایجاد کرده است.