الذكاء الاصطناعي٢٠ أكتوبر ٢٠٢٦
هاجينغ فيس تطلق إطار FairStress لتقييم عدالة اتخاذ القرار
أُطلقت FairStress، وهي مجموعة اختبارات تقيس عدالة قرارات نماذج اللغة، بما يتجاوز فحص القرار النهائي إلى مدى ثبات النموذج حين يتعرض للإقناع. وتضم ٣٠٠ سيناريو في ٢٩ مجالًا، وتتوسع تنويعاتها إلى أكثر من ١٣ مليون حالة اختبار؛ كما تتيح نسخة FairStress-Core الأصغر، وفيها ٥٠ ألف عنصر، تقييمًا أسرع وأقل كلفة حاسوبية. وتشمل المجالات التوظيف والرعاية الصحية والإقراض والتعليم، والأداة متاحة للتنزيل، مع العمل على دمجها في Olmo-eval.
الحقائق الأساسية
تضم FairStress ٣٠٠ سيناريو لاتخاذ القرار في ٢٩ مجالًا.
«FairStress contains 300 realistic two-candidate decision scenarios across 29 domains including hiring, healthcare, lending, education, housing, and criminal justice.»
عرض المصدر ←تتسع تنويعات الاختبار إلى أكثر من ١٣ مليون حالة، مع نسخة مصغرة من ٥٠ ألف عنصر.
«Combining these variations in demographic identity and prefix expands FairStress’ 300 scenarios into more than 13 million test cases. Alongside the full benchmark, we’ve developed FairStress-Core, a 50K-item subset selected using item response theory, following our Fluid Benchmarking approach.»
عرض المصدر ←الأداة متاحة للتنزيل، ويجري العمل على دمجها في Olmo-eval.
«FairStress is available for download, and we’re also building it into Olmo-eval, our open workbench for running and comparing model evaluations.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر