Meta از به‌کارگیری گستردهٔ آزمون‌های تولیدشده با هوش مصنوعی برای یافتن باگ‌ها خبر داد

Meta می‌گوید رویکرد Catching JiTTests را پس از ارزیابی مقیاس‌پذیری و امکان استفادهٔ گسترده‌تر، از مرحلهٔ نمونهٔ پژوهشی به زیرساخت تولیدی خود آورده است. این روش به مهندسان کمک می‌کند با بار کاری کمتر و احتمال پایین‌ترِ هشدارهای نادرست، باگ‌های بیشتری را پیدا کنند.

JiTTests یا «آزمون‌های به‌موقع»، با کمک مدل‌های زبانی بزرگ (LLM) برای هر تغییر پیشنهادی در کد، آزمون‌های اجرایی تولید می‌کند که عمداً باید شکست بخورند تا تفاوت رفتاری ایجادشده و باگ‌های احتمالی را آشکار کنند. Meta می‌گوید این شیوه با بررسی کد به کمک LLMها یا هوش مصنوعی عاملی تفاوت دارد: به‌جای بازبینی کد بر اساس تجربه‌های پیشین، آزمونی می‌سازد که اثر رفتاری تغییر را نشان می‌دهد و ممکن است دسته‌ای از باگ‌ها را پیدا کند که از چشم روش‌های بازبینی کد دور می‌مانند.

یکی از چالش‌ها در پایگاه کد عظیم Meta، که صدها میلیون خط کد دارد، تشخیص آزمون‌هایی است که باگ واقعی را نشان می‌دهند از مواردی که ممکن است مثبت کاذب باشند. شرکت می‌گوید برای کاهش مثبت‌های کاذب، از ترکیب قواعد سنتی و رویکردی موسوم به «LLM-as-Judge» استفاده کرده است؛ رویکردی که داوری چند مدل زبانی را با هم تلفیق می‌کند.