شركة كوج الفرنسية تطور تقنيات لرفع كفاءة استدلال الوكلاء على المعالجات
تطوّر الشركة الفرنسية الناشئة كوج برمجيات لتعزيز استدلال نماذج الذكاء الاصطناعي على معالجات الرسوميات التقليدية الموجودة لدى المؤسسات، بدل الاعتماد على عتاد مخصص. وأظهرت تجربة للشركة سرعة بلغت ٣ آلاف رمز في الثانية لكل طلب، باستخدام نموذج صغير مخصص يضم نحو ملياري مُعامل، بينما تستهدف كوج تسريع الاستدلال بما يصل إلى ٣٠ مرة. ويقول الرئيس التنفيذي غايل ديلالو إن هندسة البرمجيات قد تكون أول استخدام عملي، خصوصًا لتقليل انتظار أدوات البرمجة المعتمدة على الذكاء الاصطناعي. لكن تنفيذ هذا النهج على كل معالج يستغرق أسابيع أو أشهر من العمل، فيما يضم فريق كوج ١١ شخصًا، وتحتاج الشركة إلى إثبات فاعليته مع النماذج اللغوية الكبيرة قبل جمع تمويل إضافي.
الحقائق الأساسية
جذبت التجربة الأولية للشركة أكثر من ٢٠٠ عميل محتمل من الشركات.
«“We had 200 tangible business leads,” CEO Gaël Delalleau told TechCrunch.»
عرض المصدر ←حققت التجربة ٣ آلاف رمز في الثانية لكل طلب عبر نموذج Laneformer 2B الصغير، الذي يضم نحو ملياري مُعامل.
«Its demo showed an impressive 3,000 per-request tokens per second (TPS) — but with a purpose-built small model with only some 2 billion parameters, the now open sourced Laneformer 2B.»
عرض المصدر ←تخصص كوج لكل معالج جديد أسابيع أو أشهر لفحص تفاصيله وإجراء أبحاث هندسية عليه.
«For every new GPU, we’ll dedicate several weeks or even months, to really dig into the details and conduct GPU engineering research on that hardware.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر