مؤشر «أرتيفيشيال أناليسيس» يوسع الفجوة بين النماذج المفتوحة والمغلقة

الحقائق الأساسية

• جاءت Kimi K3.1 Pro في المركز الرابع عند إطلاقها، ثم هبطت إلى التاسع في الإصدار الخامس.

  «The model originally launched in fourth place, but it falls to ninth behind eight closed models in version 5.»

  عرض المصدر ←

• ارتفعت حصة مجموعات الاختبار الخاصة في المؤشر إلى ٦٠٪.

  «For the first time, 60 percent of the index relies on private test sets to prevent "benchmaxxing," the practice of training models specifically on known test questions.»

  عرض المصدر ←

• اضطرت أرتيفيشيال أناليسيس إلى تعديل أسئلة ملتبسة ومعيبة في اختبار المعرفة AA-Omniscience ضمن المؤشر الجديد.

  «Artificial Analysis had to revise ambiguous and flawed questions in that benchmark for the new index.»

  عرض المصدر ←

المصادر