إطلاق تقنية LMCache لتحسين كفاءة استهلاك الذاكرة في النماذج اللغوية
تُعالج تقنية LMCache المشككة الصامتة في تشغيل النماذج اللغوية الكبيرة والمتمثلة في إعادة حساب متجهات KV Cache للطلبات المتكررة، وذلك عبر حفظها واستعادتها مباشرة بدلًا من إعادة حسابها من الصفر. وأظهرت المعايير القياسية تسريعًا يصل إلى 10.7 أضعاف، بينما يحقق دمجها مع محرك vLLM تحسينات تتراوح بين 3 و10 أضعاف على معالجات AMD MI300X. التقنية التي حصدت أكثر من 10 آلاف نجمة على GitHub تُبرز كيف يمكن لخوارزميات ذكية توفير الموارد وتسريع الاستجابة دون الحاجة لزيادة قدرة وحدات المعالجة الرسومية.
الحقائق الأساسية
حققت تقنية LMCache تسريعًا يصل إلى 10.7 ضعفًا في المعايير القياسية، وتحسينات تتراوح بين 3 و10 أضعاف عند دمجها مع vLLM على معالجات AMD MI300X.
«Benchmark shows up to to a 10.7x speedup - And vLLM plus LMCache delivers 3-10x improvements on AMD MI300X.»
عرض المصدر ←تعالج التقنية مشكلة إعادة حساب متجهات KV Cache للطلبات المتكررة عبر حفظها واستعادتها بدلًا من إعادة حسابها في كل مرة.
«LMCache tackles the problem by saving and getting back KV cache.»
عرض المصدر ←حصد مشروع LMCache أكثر من 10 آلاف نجمة على منصة GitHub.
«10K+ Github stars»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر