دراسة: مدققو الذكاء الاصطناعي يرصدون الأخطاء لكن يغرقون المراجعين بالإنذارات

الحقائق الأساسية

• عند معدل إنذارات كاذبة يبلغ ٥٪، رصد GPT-5 نحو ٩٨٪ من حالات التحايل على المكافآت، بينما لم يكتشف Gemini 3.8 Flash سوى نحو نصفها.

  «At that threshold, GPT-5 caught nearly 98 percent of reward hacking cases—instances where an agent passes a task through tricks instead of a genuine solution. Gemini 3.8 Flash found barely half.»

  عرض المصدر ←

• في مثال يضم ١٠٠ ألف جلسة لوكلاء شهريًا، أنتج معدل إنذار كاذب قدره ٣٪ نحو ٣ آلاف تحذير خاطئ مقابل قرابة ألفي تحذير صحيح.

  «In Hall's worked example with 100,000 agent sessions per month, a 3 percent false-alarm rate would produce nearly 3,000 false warnings against roughly 2,000 real hits.»

  عرض المصدر ←

المصادر