الذكاء الاصطناعي١٧ سبتمبر ٢٠٢٦
باحثون يكسرون حاجز 1.58 بت في نماذج اللغة الثلاثية
تطرح ورقة بحثية تنسيقًا جديدًا باسم BITCOS لتخزين نماذج اللغة الثلاثية بكفاءة تتجاوز صيغة الخمسة أوزان لكل بايت، إذ يبلغ التخزين ١٫٤٨٥ بت لكل وزن في أكثر النماذج ندرة. يستفيد التنسيق من أن الأصفار شكّلت ما يصل إلى ٥١٫٥٪ من الأوزان في النماذج الثلاثية التي قاستها الورقة، ويستخدم خريطة كثيفة للحضور ومتجهًا مضغوطًا للإشارات. واختُبر على ٥ منصات، فرفع سرعة فك الترميز حتى ١٫١٨ مرة على المعالجات المركزية و١٫٢٧ مرة على معالجات الرسوميات.
الحقائق الأساسية
كان BITCOS أوفر في التخزين من صيغة الخمسة أوزان لكل بايت في ٢٦ نموذجًا من أصل ٢٩.
«BITCOS stores weights more compactly than the five-trit packing in 26 of the 29 tested models»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر