باحثون ينشرون دليلاً تقنيًا لبناء نموذج لغوي قائم على الانتشار

الحقائق الأساسية

• يعتمد النهج الأساسي للنصوص على إخفاء نسبة عشوائية من الرموز وتدريب محوّل ثنائي الاتجاه على استكمالها.

  «We train the model by taking clean sequences, masking a random fraction of their tokens, and asking a bidirectional transformer to fill in the blanks.»

  عرض المصدر ←

• يُولّد النموذج النص انطلاقًا من تسلسل مقنّع بالكامل، ثم يقلّل الأقنعة جولةً بعد أخرى حتى يصل إلى عينة مكتملة.

  «Each round leaves fewer positions masked, until the sequence converges to a clean sample from the model.»

  عرض المصدر ←

• يمكن ضبط المفاضلة بين سرعة التوليد وجودته عبر استخدام عدد أقل أو أكثر من خطوات التنقيح.

  «generation can trade off speed and quality by using fewer or more steps»

  عرض المصدر ←

المصادر