الذكاء الاصطناعي٨ نوفمبر ٢٠٢٦
باحثون يشككون في دقة نتائج اختبار MaxxBench البرمجي
طوّر فريق MaxxBench اختبارًا يقيس قدرة وكلاء البرمجة على التكيّف مع تغييرات في مهام سبق أن تدربوا عليها أو قيّموها. وعدّل الفريق تعليمات أو شيفرة البداية في ٨٩ مهمة من DeepSWE، فظهرت فروق بين نماذج بدت نتائجها متقاربة في الاختبار الأصلي؛ إذ سجل Claude Opus 5.5 نسبة ٧٦٫٤٪ على MaxxBench، مقابل ٥٣٫٤٪ لـGemini 3.8 Flash. ويرى الفريق أن نتائج الاختبار الأصلي وحدها قد تخفي تفاوتًا مهمًا في التعامل مع التغييرات التي تطرأ على العمل.
الحقائق الأساسية
شمل MaxxBench تعديلات على ٨٩ مهمة من DeepSWE.
«It changes the instructions or starting code of 89 DeepSWE tasks, giving models familiar engineering work with a reason to revise their usual approach.»
عرض المصدر ←سجل Claude Opus 5.5 نسبة ٧٦٫٤٪، بينما سجل Gemini 3.8 Flash نسبة ٥٣٫٤٪ على MaxxBench.
«On MaxxBench, they score 76.4% and 53.4%.»
عرض المصدر ←يشكك الفريق في اعتبار الاختبار مستنفدًا ما دامت التعديلات على مهامه تفرّق بين النماذج بهذه الدرجة.
«We are skeptical of treating a benchmark as exhausted when revisions to its existing tasks still separate models by this much.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر