تقارير: شركات ناشئة تسعى لتطوير الجيل القادم من النماذج اللغوية
تسعى موجة من الشركات الناشئة إلى تجاوز بنية «المحوّل» التي تقوم عليها النماذج اللغوية الكبرى، بعدما بدأت تحدّ من قدرتها على معالجة نصوص أطول بكفاءة. فمعالجة نص من ١٠ آلاف كلمة قد تتطلب نحو ٥٠ مليون عملية ضرب، بينما يُتوقع أن تنفق OpenAI هذا العام ٥٠ مليار دولار على الحوسبة. وتقول شركة Subquadratic إن نموذجها SubQ يستخدم «انتباهًا متناثرًا» يختار الكلمات الأهم، فيما طوّرت Manifest AI آلية مختلفة تحتفظ بملخص متحرك للسياق. وتظل هذه الوعود أولية، إذ يشير المصدر إلى تشكك بعض العاملين في القطاع بادعاء Subquadratic، بينما تخطط الشركة لإتاحة نموذجها على نطاق واسع قريبًا.
الحقائق الأساسية
قد يتطلب تحليل وثيقة من ١٠ آلاف كلمة نحو ٥٠ مليون عملية ضرب، وهو ما يفسر جانبًا من استهلاك النماذج اللغوية الكبير للطاقة.
«A document 10,000 words long might require a transformer to perform 50 million multiplications. That’s the main reason LLMs suck up so much power.»
عرض المصدر ←تقول Subquadratic إن نموذجها SubQ يحدد لحظيًا الكلمات المهمة في كل نص، وإن آلاف الأشخاص سجّلوا أسماءهم في قائمة الانتظار.
«Subquadratic says its model, SubQ, works by figuring out on the fly—for each piece of text it is given—which words matter and which don’t. The company also claims that thousands have signed up to its waitlist and plans to make the model widely available soon.»
عرض المصدر ←طوّرت Manifest AI آلية باسم power retention تخزن المعلومات الأكثر صلة بالمهمة وتُسقط الأقل أهمية مع وصول معلومات جديدة.
«It has developed a mechanism it calls power retention, which stores only the most relevant information for a given task and ensures that the amount of data an LLM has to keep track of doesn’t blow up.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر