شرکت Grayhat می‌گوید مدل‌های محلی جایگزین کامل دستیارهای تجاری هوش مصنوعی نیستند

شرکت نرم‌افزاری کوچک Grayhat Developers در گزارشی از تجربهٔ استقرار یک زیرساخت ترکیبی هوش مصنوعی می‌گوید مدل‌های محلی برای جایگزینی کامل عامل‌های تجاری کدنویسی، از نظر عملکرد و سرعت استنتاج کافی نبودند. این شرکت در عوض، کارهای پیچیده را به عامل‌های تجاری سپرد و از مدل‌های محلی برای وظایف ساده‌تر، بازیابی اطلاعات سازمانی و هماهنگی ابزارهای خودمیزبان استفاده کرد.

انگیزهٔ اولیهٔ این کار، هزینهٔ استفاده از Claude و Codex بود که به گفتهٔ شرکت ماهانه حدود ۳۲۵ دلار می‌شد و بیش از ۲۵٫۹۳ میلیارد توکن ثبت‌شده داشت. برآورد Grayhat این است که حدود ۳۰ تا ۴۰ درصد بار کاری هوش مصنوعی تجاری‌اش به انتقال زمینه، همگام‌سازی مستندات، مدیریت وظایف و هماهنگی‌های عملیاتی مربوط می‌شد. شرکت می‌گوید با سپردن این بخش‌ها به مدل‌های محلی، حدود ۹۰ درصد از همین کارهای هماهنگی را می‌توان بدون استنتاج تجاری انجام داد؛ معادل کاهش برآوردی ۲۷ تا ۳۶ درصدی در کل بار کاری یا مصرف هزینه‌محور هوش مصنوعی تجاری.

بااین‌حال، نخستین استقرار داخلی شرکت به‌دلیل اصطکاک در تجربهٔ کاربری با استقبال کارکنان روبه‌رو نشد. بازطراحی آن به‌صورت استقراری با پیکربندی متمرکز، بازخورد و پذیرش را به‌طور محسوسی بهتر کرد. نویسندگان نتیجه می‌گیرند که مدل محلی بیش از آنکه جایگزین کامل ابزار تجاری باشد، در معماری ترکیبی سودمند است؛ معماری‌ای که وظایف را بر اساس توانایی موردنیاز، هزینه، نیاز به زمینه و حساسیت عملیاتی تقسیم می‌کند.

این مقاله پیش‌چاپی در arXiv است و برای ارائهٔ پوستر در کنفرانس IAAI-27 پذیرفته شده است.