الذكاء الاصطناعي٢٢ سبتمبر ٢٠٢٦
هاجينغ فيس تتيح تشغيل كميات llama.cpp عبر مكتبة Transformers
أصبح بإمكان مكتبة Transformers تشغيل نماذج GGUF المكمّمة الخاصة بـ llama.cpp مباشرةً عبر from_pretrained، لتسهيل تشغيل الذكاء الاصطناعي محليًا. تبدأ الإتاحة على أجهزة Mac بمعالجات Apple Silicon، مع تركيز أولي على بنية Qwen3.5، كما يمكن استخدام النقطة نفسها عبر واجهة API متوافقة مع OpenAI. يحتاج الاستخدام إلى أحدث نسخة من Transformers وإضافة kernels، بينما يؤدي غياب نواة تكميم متوافقة إلى استهلاك ذاكرة أكبر.
الحقائق الأساسية
تركّز البداية على الاستدلال المحلي في أجهزة Apple Silicon، وبنية Qwen3.5.
«Our initial focus is local inference on Apple Silicon, starting with the Qwen3.5 architecture.»
عرض المصدر ←يمكن تشغيل النموذج نفسه عبر transformers serve، التي توفر API متوافقة مع OpenAI.
«You can also use the same checkpoint with transformers serve, which exposes an OpenAI-compatible API:»
عرض المصدر ←يتطلب الإعداد جهاز Mac بمعالج Apple Silicon ونسخة مدعومة من PyTorch، إلى جانب أحدث نسخة من Transformers وkernels.
«- An Apple Silicon Mac. - A PyTorch version supported by the published ggml-quantization kernel builds, usually the two latest PyTorch releases. - The latest version of transformers (main for now, until the next release) and a compatible version of kernels.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر