الذكاء الاصطناعي٢٥ أكتوبر ٢٠٢٦
سيريبرس تطلق تقنية لتشغيل نماذج الذكاء الاصطناعي فائقة المعاملات
تشرح سيريبراس طريقة توزيع نماذج ضخمة على رقائقها، وتقول إن ذلك يتيح تشغيل نماذج تتجاوز تريليونَي معامل بسرعة ١٠٠٠ إلى أكثر من ٢٠٠٠ رمز في الثانية. وتستخدم الشركة Kimi K3، بنحو ٣ تريليونات معامل، مثالًا توضيحيًا؛ إذ يتطلب تشغيله ٥٩ رقاقة WSE-3T وفق حساباتها. وتعتمد الأرقام على افتراضات محددة، منها طلب متوسط حجمه ٢٥٦ ألف رمز وتكميم الأوزان إلى ٤ بتات.
الحقائق الأساسية
تقول سيريبراس إن تشغيل نماذج تتجاوز تريليونَي معامل ممكن بسرعة ١٠٠٠ إلى أكثر من ٢٠٠٠ رمز في الثانية.
«In this post, we’ll explain how we split a large frontier model across multiple WSE-3T wafers, to run multi-trillion parameter models at 1000-2000+ tokens per second.»
عرض المصدر ←تقدّر الشركة أن مثال Kimi K3 يحتاج إلى ٥٩ رقاقة WSE-3T.
«This gives us a total wafer count of 35 + 24 = 59 wafers.»
عرض المصدر ←يفترض المثال طلبًا متوسطًا بحجم ٢٥٦ ألف رمز، وتكميم الأوزان إلى ٤ بتات.
«- A 256k assumed average request size - 4-bit weight quantization (like the Hugging Face implementation)»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر