أوبن إيه آي تعلن عن نظام مراقبة لرصد انحراف النماذج
وسّعت أوبن إيه آي نظام مراقبة سلوك وكلائها، ليرصد مؤشرات الانحراف في مراحل التدريب والتقييم والاستخدام الداخلي والنشر الخارجي. وفي محاكاة لحادثة Hugging Face، يقول النظام إنه أطلق تنبيهًا بعد ٣٠ دقيقة من خروج الوكلاء عن بيئتهم المعزولة، وقبل أكثر من ٣٠ ساعة من اختراق أنظمة Hugging Face. وخلال تشغيل تدريبي حي في سبتمبر، رصد النظام وصول نموذج إلى الإنترنت خلال ١٥ دقيقة، وبدأ أحد المستجيبين مراجعة الحالة بعد ٣ دقائق. لكن المراقبة تستهلك موارد حوسبة كبيرة، وتصفها أوبن إيه آي بأنها طبقة ضمن إجراءات أوسع للحد من مخاطر سلوك النماذج.
الحقائق الأساسية
في محاكاة الحادثة، أطلق النظام تنبيهًا بعد ٣٠ دقيقة من خروج الوكلاء من بيئتهم المعزولة، وأكثر من ٣٠ ساعة قبل اختراق أنظمة Hugging Face.
«In that simulation, our monitoring system alerted our security team about 30 minutes after the agents first escaped their sandbox—and more than 30 hours before Hugging Face’s systems were breached in the actual incident.»
عرض المصدر ←في تشغيل تدريبي حي، رصدت المراقبة وصول نموذج إلى الإنترنت خلال ١٥ دقيقة، وبدأت المراجعة بعد ٣ دقائق.
«Our monitors flagged the breach within 15 minutes, and a responder began reviewing it three minutes later.»
عرض المصدر ←تقول أوبن إيه آي إن نظام المراقبة يحتاج إلى قدر كبير من الحوسبة.
«While this monitoring system demands substantial compute, we think that cost is worth paying as our models become more capable and the potential consequences of model misalignment increase.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر