الذكاء الاصطناعي٤ نوفمبر ٢٠٢٦
إطلاق معيار مفتوح المصدر لقياس أداء الذكاء الاصطناعي في العمليات السحابية
يقدّم معيار CloudOpsBench مفتوح المصدر طريقةً لقياس مدى إتقان وكلاء الذكاء الاصطناعي مهام تشغيل الخدمات السحابية وإدارتها. وتضم نسخته الأولى ٤٥ مهمة على AWS، فيما لم يحلّ Claude Fable 5.1 سوى ٦٠٪ منها وبلغ GPT-6 Astra نسبة ٥٣٪؛ ويرى الفريق أن ضعف الاستدلال هو العائق الأكبر. ونحو ٨٠٪ من الإخفاقات تعود إلى سوء تقدير نطاق المهمة أو إغفال خدمات ذات صلة أو التوقف مبكرًا، بينما قد تخلّف بعض الإجراءات الخاطئة أضرارًا لا يمكن عكسها في البنية التحتية.
الحقائق الأساسية
تضم النسخة الأولى ٤٥ مهمة على AWS، وأعدّها مهندسو DevOps ذوو خبرة.
«Version 1.0 includes 45 tasks on AWS and was built by experienced DevOps engineers.»
عرض المصدر ←أتمّ Claude Fable 5.1 نسبة ٦٠٪ من المهام، وبلغ GPT-6 Astra نسبة ٥٣٪.
«Claude Fable 5.1 solved 60 percent, GPT-6 Astra managed 53 percent.»
عرض المصدر ←نحو ٨٠٪ من الإخفاقات سببها قصور في تقدير نطاق المهمة أو التحقق من الخدمات أو مواصلة العمل.
«About 80 percent of failures happen because agents misjudge the scope of a task, don't check all the relevant services, or stop too early.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر