أداء نموذج Kimi K3 على معالجات MI355X
أظهر تشغيل نموذج Kimi K3 على معالجات AMD MI355X أداءً يصل إلى نحو 952 رمزًا في الثانية لكل عقدة، مع تفوق واضح في الأداء مقابل التكلفة مقارنةً بمعالجات B200 وB300. ويرتبط هذا التفوق بسعة الذاكرة التي تبلغ 288 غيغابايت لكل معالج، ما يسمح بخدمة نموذج ضخم يضم 2.8 تريليون معامل دون توزيع الخدمة على عدد أكبر من العقد. وعلى الرغم من تفوق B300 في الإنتاجية الإجمالية، فإن سعر MI355X الأقل بنحو 2.4 مرة يجعله أقوى من ناحية الأداء لكل دولار. كما أدت إصلاحات برمجية وتحسينات في فك الترميز والتهيئة المسبقة إلى مضاعفة بعض جوانب الأداء، مع بقاء زمن تجهيز المدخلات الطويلة نقطة ضعف مقارنةً بـB300.
الحقائق الأساسية
حقق MI355X نحو 952 رمزًا في الثانية لكل عقدة و118 رمزًا في الثانية عبر تدفق واحد في اختبار بمدخلات من 1,024 رمزًا ومخرجات من 400 رمز.
«The results are great: on a 1,024-token input / 400-token output benchmark, the MI355X reaches 952 tok/s/node and 118 tok/s single stream»
عرض المصدر ←يضم Kimi K3 نحو 2.8 تريليون معامل، ويتطلب أكثر من 1.5 تيرابايت من ذاكرة الفيديو قبل إضافة ذاكرة KV لسياق يبلغ مليون رمز.
«GLM5.2 has 753B parameters, DeepSeek V4-Pro 1.6T, and Kimi K3 weighs in at 2.8T (!!) parameters. That’s over 1.5TB of VRAM before allocating a KV cache for 1M tokens of context.»
عرض المصدر ←كان سعر MI355X المستخدم في المقارنة 2.50 دولار لكل معالج-ساعة، مقابل 6.00 دولارات لـB300 و4.25 دولارات لـB200.
«Perf/dollar at $2.50/GPU-hr for the MI355X, $6.00 for the B300, and $4.25 for the B200.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر