الذكاء الاصطناعي٤ أغسطس ٢٠٢٦
مون شوت تطلق نموذج Kimi K3 بـ 2.8 تريليون معامل
طوّرت مون شوت نموذج Kimi K3 الذي يضم ٢٫٨ تريليون معامل، بحسب منشور على إكس. ويحتاج النموذج، عند تشغيله بدقة BF16، إلى أكثر من ٥ تيرابايت من الذاكرة، بينما يُفعّل ١٠٤ مليارات معامل لكل رمز. ويشير المنشور إلى أن التحدي الأكبر لم يكن التدريب، بل جعل النموذج عمليًا للتشغيل، مع بقاء مشكلة الذاكرة قائمة رغم اعتماد الت sparsity.
الحقائق الأساسية
يضم Kimi K3 نحو ٢٫٨ تريليون معامل، ويحتاج إلى أكثر من ٥ تيرابايت عند استخدام BF16.
«@Kimi_Moonshot built a 2.8 trillion parameter model that would need more than 5TB in BF16.»
عرض المصدر ←يُفعّل النموذج ١٠٤ مليارات معامل لكل رمز، لكن الت sparsity وحدها لا تحل مشكلة الذاكرة.
«Kimi K3 activates only 104 billion parameters per token, but sparsity alone does not solve the memory and»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر