دراسة: وكلاء البرمجة يحتاجون إلى تدخل بشري في معظم المهام

اختبر باحثون من علي بابا وجامعات آسيوية وكلاء البرمجة على مهام مبنية على طلبات مستخدمين حقيقية، ووجدوا أن أفضل نموذج لا ينجز المهمة كاملة إلا في نحو ربع الحالات. وفي Co-Design Bench، حقق GPT-6 Astra متطلبات المهام بنسبة ٧٠٪ في المتوسط، لكن إنجازه كان صحيحًا بالكامل في ٢٦٫٤٪ منها فقط، ما يترك غالبًا تفاصيل تحتاج إلى إصلاح يدوي. كما تراجع أداء النماذج كلما جمعت المهمة أنواعًا أكثر من التغييرات، وتوصي الدراسة بتقييم النموذج وبيئة تشغيله معًا عند اختيار وكيل برمجة.