RetryBench نشان می‌دهد عبارت‌بندی دستورها بر تصمیم‌های تکرار در عامل‌های هوش مصنوعی اثر می‌گذارد

عامل‌های زبانی هنگام پایان مهلت یک فراخوانی ابزار با دوراهی روبه‌رو می‌شوند: تلاش دوباره ممکن است اثر جانبی تکراری ایجاد کند و تلاش‌نکردن می‌تواند کار را ناتمام بگذارد. پژوهشگران در پیش‌چاپی با معرفی RetryBench روشی برای سنجش تصمیم‌های تکرار و بازیابی پس از خطا ارائه کرده‌اند. این روش مجازبودن تلاش دوباره را جدا از پیامدهای آن می‌سنجد: آیا تضمین کلید idempotency یا مدرکی مبنی بر اجرا‌نشدن فراخوانی، تکرار را توجیه می‌کند؟ آیا اثر تکراری یا حذف‌شده‌ای باقی می‌ماند؟ و آیا کار کامل می‌شود؟ ارزیابی هر تصمیم با بازپخش آن در همهٔ وضعیت‌های پنهان سازگار با مشاهدات انجام می‌شود.

در دو مطالعهٔ کنترل‌شده روی چهار وظیفهٔ ساختگی مهندسی نرم‌افزار، پژوهشگران مجموعاً ۱٬۷۲۸ تصمیم را بررسی کردند. در مطالعهٔ نخست، با ثابت نگه‌داشتن قرارداد، GPT-5.6 Luna در ۱۰ مورد از ۴۰ تصمیم، کلید معتبر idempotency را زمانی دوباره به کار برد که کلید دیگری «Candidate recovery key» نامیده شده بود؛ این رقم با برچسب «Alternative key string» به ۳۹ مورد از ۴۰ رسید. در سه صورت‌بندی دیگر برای هر گروه، اختلاف مشابه بود: ۲۷ از ۱۲۰ در برابر ۱۱۳ از ۱۲۰. دو مدل GPT-5.6 Sol و Terra در این آزمون به امتیاز کامل ۴۰ از ۴۰ رسیدند.

در مطالعهٔ دوم، وقتی تضمین‌های جست‌وجو دقیق نبود، قرارگرفتن گزینهٔ تلاش دوباره در ابتدای فهرست با کاهش ۱۷ تا ۲۷ واحد درصدی نرخ تکرار در GPT-5.6 Terra و GPT-5.4 همراه بود؛ این تفاوت عمدتاً در دو وظیفه دیده شد. پژوهشگران دربارهٔ بهتر بودن یکی از این رفتارها نتیجه‌گیری نمی‌کنند.

نویسندگان محدودیت‌های یافته‌ها را صورت‌بندی‌های انتخاب‌شده توسط پژوهشگران، چهار وظیفه و نام‌های مستعار مدل که نسخهٔ مشخصی از آن‌ها تثبیت نشده بود، می‌دانند. کد و همهٔ پاسخ‌های مدل‌ها نیز منتشر شده است.