الذكاء الاصطناعي١٣ أكتوبر ٢٠٢٦
أداة Janas تتيح تشغيل نماذج لغوية ضخمة عبر البث من القرص
تشغّل أداة Janas-LLM نماذج لغوية ضخمة من نوع مزيج الخبراء على حواسيب عادية، حتى من دون بطاقة رسومات منفصلة. وتبقي الأوزان على القرص، فيما تنقل إلى الذاكرة الخبراء اللازمين لكل رمز؛ ويذكر المشروع أن نموذجًا يحوي ٨٠ مليار مُعامل أجاب على حاسوب محمول بذاكرة ٣٢ غيغابايت. الأداة متاحة على لينكس وويندوز، لكن مطوّرها يصفها بأنها تجربة لا منتجًا جاهزًا.
الحقائق الأساسية
شغّل المشروع نموذجًا من ٨٠ مليار مُعامل على حاسوب محمول بذاكرة ٣٢ غيغابايت.
«An 80-billion parameter model runs, and answers, on a laptop with 32 GB of RAM.»
عرض المصدر ←تُبقي Janas-LLM الأوزان على القرص وتحمّل الخبراء المطلوبين من قرص NVMe.
«the weights stay on disk, the experts each token needs are streamed from an NVMe SSD, and the ones that keep coming back stay in memory.»
عرض المصدر ←يصف المطوّر Janas بأنها تجربة وليست منتجًا.
«This is an experiment, not a product.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر