هاجينغ فيس تطلق خط أنابيب مفتوح لتوليد بيانات اللغات الهندية
تعمل إنفيديا مع معهد IIT Madras ومختبر AI4Bharat على مجموعة بيانات للتدريب المسبق تضم نحو ٢٫٨ تريليون رمز عبر ٢٢ لغة هندية، إلى جانب خط مفتوح لتوليد البيانات سيُتاح قريبًا. ويشمل خط العمل تعليمات التوليد وسير عمل النماذج اللغوية وفحوص الجودة، ويمكن للمطورين تكييفه مع موادهم الخاصة لإنتاج بيانات إضافية. كما يضم المحتوى نصوصًا بالخطوط الأصلية للغات الـ٢٢، ونسخًا مكتوبة بالأحرف اللاتينية لـ١٢ لغة؛ ما يوفّر مادة لتدريب نماذج تشرح المفاهيم التقنية وتحل المسائل وتجيب عن الأسئلة بلغات هندية.
الحقائق الأساسية
تضم المجموعة نحو ٢٫٨ تريليون رمز موزعة على ٢٢ لغة هندية.
«We're excited to introduce Nemotron-pretraining-Indic-v1 approximately 2.8 trillion tokens across 22 Indian languages, releasing soon alongside the open, GPU-accelerated data generation pipeline used to create it.»
عرض المصدر ←يشمل خط التوليد التعليمات وسير عمل النماذج اللغوية وفحوص الجودة، ويمكن للمطورين تكييفه لإنتاج بيانات تناسب احتياجاتهم.
«The pipeline captures the full generation recipe, including prompts, LLM workflows, and quality checks, so developers can adapt it to their own source material and generate more data for their needs.»
عرض المصدر ←تغطي المجموعة ٣٤ تركيبة من اللغات وأنظمة الكتابة: الخطوط الأصلية لـ٢٢ لغة، والكتابة بالأحرف اللاتينية لـ١٢ منها.
«It includes native-script data for all 22 languages and romanized text for twelve, spanning 34 language-script configurations.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر