هوش مصنوعی

PromptOps برای بازتنظیم داورهای زبانی در طول زمان معرفی شد

پژوهشگران چارچوبی برای پایش و بهینه‌سازی مرحله‌ای پرامپت مدل‌هایی پیشنهاد کرده‌اند که پاسخ‌های چت‌بات‌ها را ارزیابی می‌کنند؛ اما روش و زمان به‌روزرسانی، به شرایط هر کاربرد بستگی دارد.

۱ دقیقه مطالعه
Figure 1 : Overview of PromptOps as a closed-loop extension of an LLM judge. At time t t , the judge evaluates input item x t x_{t} using prompt p t p_{t} and produces evaluation y ^ t \hat{y}_{t} . When reference feedba
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

مدل‌های زبانی بزرگ به‌طور فزاینده‌ای برای ارزیابی عملکرد چت‌بات‌ها و سامانه‌های هوش مصنوعی به کار می‌روند. بااین‌حال، با تغییر تعامل‌های کاربران و توزیع امتیازها، ممکن است داوری آن‌ها از سیاست ارزیابی موردنظر انسان فاصله بگیرد. پژوهشگران این مسئله را «رانش داور» می‌نامند و در مقاله‌ای پیش‌چاپ در arXiv، چارچوب PromptOps را برای پایش و بازتنظیم تدریجی سامانه‌های LLM-as-a-Judge معرفی کرده‌اند.

PromptOps چهار تصمیم عملیاتی را از هم جدا می‌کند: چه زمانی بهینه‌سازی انجام شود، کدام روش بهینه‌سازی به کار رود، کدام بازخوردها مبنای کار باشند و پرامپت داور چگونه به‌روزرسانی شود. پژوهشگران این چارچوب را با پنج روش پیاده‌سازی کرده‌اند: GEPA، SIMBA، Rubric Synthesis و انتخاب نمونه‌های راهنما با دو روش simulated annealing و Tree-structured Parzen Estimator.

آزمایش‌ها نشان می‌دهند بهینه‌سازی تکرارشوندهٔ پرامپت می‌تواند داورهای زبانی را پس از تغییرات کنترل‌شده در توزیع امتیازهای مرجع بازتنظیم کند و عملکردشان را بازیابی کند. بااین‌حال، پژوهشگران می‌گویند هیچ الگوریتم یا زمان‌بندی به‌روزرسانی‌ای در همهٔ شرایط بهترین نیست؛ نگهداری مؤثر به زمینهٔ کاربرد وابسته است. این مقاله پیش‌چاپی برای همایش CONVERSATIONS 2026 است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست