منصة Optima تتيح اختبار نماذج الذكاء الاصطناعي ببيانات المستخدم الخاصة
أطلقت Artificial Analysis منصة Optima، التي تتيح للمستخدمين بناء اختبارات معيارية مخصصة لمقارنة نماذج الذكاء الاصطناعي وفق احتياجاتهم. ويمكن الاختبار عبر بيانات المستخدمين أو وصف المهمة مع أمثلة للمدخلات والمخرجات، ثم مقارنة النماذج من حيث الجودة والتكلفة والسرعة. وتوفر المنصة تقييمًا بمعايير محددة أو مقارنةً ثنائية بين الإجابات، وهي متاحة الآن. لكن قيمة النتائج تظل مرتبطة بدقة تصميم الاختبار وتمثيله للمهمة الفعلية، فيما تُحتسب رسوم النماذج والتقييمات بحسب الاستخدام.
الحقائق الأساسية
تقبل Optima ملفات تقييم خاصة، وبيانات من Hugging Face، وسجلات تفاعل وكلاء الذكاء الاصطناعي من منصات متعددة.
«Users can upload existing evaluation datasets from their own files or from Hugging Face, as well as AI agent traces from platforms like Arize, Braintrust, or Langfuse.»
عرض المصدر ←تبلغ تكلفة التقييم القائم على المعايير ٠٫١٢٥ دولار لكل معيار ولكل نموذج، بينما تكلف المقارنة الثنائية ٠٫٣٧٥ دولار لكل مقارنة.
«Rubric-based evaluations cost $0.125 per criterion per model, and pairwise evaluations cost $0.375 per comparison.»
عرض المصدر ←اختبر مستخدمون مبكرون نماذج لوكلاء التمويل والمحاسبة، بحثًا عن نموذج يخفض التكلفة عشرة أضعاف تقريبًا من دون تراجع كبير في الجودة.
«Early testers built benchmarks for finance and accounting agents to find which model could cut costs by a factor of ten without major quality loss, according to Artificial Analysis.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر