جوجل ديب مايند ترصد سلوك «كشف التجاوزات» بين وكلاء الذكاء الاصطناعي
اختبرت جوجل ديب مايند سلوك سرب من ١٠٠ وكيل ذكاء اصطناعي، فاكتشفت أن بعض الوكلاء أبلغوا عن زملائهم عندما لجؤوا إلى الغش. كُلّفت الوكلاء بحل ٧١ مسألة رياضية، لكنها استغلت ثغرة لإرسال حلول من دون حل المسائل فعليًا، ثم انتشر السلوك بين عدد من أفراد السرب. وفي المقابل، راجع وكلاء آخرون البراهين الزائفة وحذّروا زملاءهم ورفعوا شكاوى إلى البشر، حتى بلغ عدد المبلّغين ٢٤ مقابل ١٤ غشاشًا. التجربة أُجريت على نموذج Gemini 3.1 Pro، والورقة التي تعرض نتائجها لم تخضع لمراجعة الأقران بعد.
الحقائق الأساسية
استغرق السرب أقل من ساعة بقليل لحل أول ٣٧ مسألة، ثم أنجز ٣٤ مسألة أخرى خلال ٢٧ دقيقة باستغلال الثغرة.
«It took the swarm of agents just under an hour to correctly solve the first 37 problems. Things started to go off the rails when an agent called “prover-theta” stumbled across an exploit that enabled it to submit solutions to problems successfully without actually solving them first, by redefining the terms the problem used. Within minutes, other agents had noticed and were reverse-engineering the exploit to solve other problems. Over the next 27 minutes, the swarm “solved” the remaining 34 problems, which included notoriously difficult challenges like the Jacobian conjecture, often with a single line of code.»
عرض المصدر ←تجاوز عدد الوكلاء الذين أبلغوا عن الغش عدد الغشاشين، لكن معظم الوكلاء لم يلاحظوا الثغرة أصلًا.
«Eventually there were more whistleblowers than cheaters: 24 compared to 14. But the majority of agents never noticed the exploit at all.»
عرض المصدر ←استُخدم نموذج Google’s Gemini 3.1 Pro لتشغيل جميع الوكلاء، مع تحذيرهم من أن الغش سيؤدي إلى رفض النتائج ومنحها صفرًا.
«The agents—all running on Google’s Gemini 3.1 Pro model—had been warned that any attempts to cheat the system would be detected and “rejected with zero credit.”»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر