الذكاء الاصطناعي١٣ أكتوبر ٢٠٢٦
فريق vLLM يضيف دعمًا لتقنية ReplaySSM من إنفيديا
يدعم vLLM بالفعل فكّ الترميز القياسي لـMamba2، إلى جانب دعم MTP المعتمد على FlashInfer، بحسب منشور المشروع على إكس. ويقلّل هذا الدعم حركة البيانات المرتبطة بالحالة التكرارية عبر تخزين مدخلات SSM مؤقتًا، ولا يحدّث نقطة التحقق إلا عند الحاجة.
الحقائق الأساسية
يشمل الدعم فكّ الترميز القياسي لـMamba2 وMTP المعتمد على FlashInfer، مع تقليل حركة بيانات الحالة التكرارية.
«Mamba2 standard decode and FlashInfer-backed MTP support are already in vLLM, reducing recurrent-state memory traffic by caching SSM inputs and updating the checkpoint only when needed.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر