مطور يتيح تشغيل نموذج DeepSeek الضخم على ذاكرة عشوائية
يتيح مشروع llama-modchip تشغيل نموذج DeepSeek-V4-Flash ذي ٢٨٤ مليار معامل على معالج مركزي وذاكرة عشوائية سعتها ٦٤ غيغابايت، من دون بطاقة رسومية. ويقول مطوّروه إن النموذج يشغل نحو ٥٧٫٦ إلى ٥٨٫٩ غيغابايت عند استخدام سياق كامل بطول ٢٥٦ ألف رمز، وبسرعة توليد تصل إلى ١٤٫٧ رمزًا في الثانية. لكن النماذج تستخدم تنسيقًا مخصصًا لا يعمل على نسخ llama.cpp وOllama وLM Studio غير المعدّلة؛ لذا يتطلب تشغيلها أدوات المشروع أو برنامجه المستقل.
الحقائق الأساسية
يشغل المشروع النموذج على معالج مركزي بذاكرة ٦٤ غيغابايت، من دون استخدام بطاقة رسومية.
«Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs).»
عرض المصدر ←يذكر المشروع أن تشغيل النموذج عند سياق ٢٥٦ ألف رمز يستهلك ما بين ٥٧٫٦١ و٥٨٫٩ غيغابايت من الذاكرة.
«Shrinks DeepSeek-V4-Flash from 76.87 GiB (which crashes in OOM on 64 GB Linux) down to 56.56 GiB on disk / 57.61–58.9 GiBVmRSS at full 256K context»
عرض المصدر ←النماذج ذات التنسيق المخصص لا تعمل على نسخ llama.cpp وOllama وLM Studio غير المعدّلة.
«Opening them in unpatched llama.cpp, Ollama, or LM Studio will fail with unknown tensor type 40.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر