دراسة: خطوات التفكير المكتوبة لنماذج الذكاء الاصطناعي تعكس أنماطاً داخلية
وجد باحثون من جامعة KAIST ومختبر Naver AI أن خطوات التفكير التي تعرضها نماذج اللغة ترتبط بأنماط مميزة داخل تمثيلاتها الرقمية، وتظهر بوضوح أكبر في الطبقات الوسطى. اختبر الفريق ثلاثة نماذج في مسائل رياضية، وصنّف ثماني عمليات استدلال مثل استخراج المعلومات وتفكيك المسألة واستدعاء الصيغ والاستنتاج والحساب. كما أظهرت التجارب أن الخطوة تعتمد على السياق السابق، وأن تمييزها يظل ممكنًا حتى عندما تكون الإجابة الحسابية خاطئة. اقتصرت التجارب على الرياضيات وعدد محدود من النماذج، ولا يزال استخدام هذه الإشارات لاكتشاف الأخطاء أو توجيه النموذج أثناء التوليد سؤالًا مفتوحًا.
الحقائق الأساسية
شملت العمليات المصنفة ثماني فئات متكررة، من بينها استخراج المعلومات وتفكيك المسألة واستدعاء الصيغة والاستنتاج والحساب.
«The team defined eight recurring reasoning operations, including extraction, decomposition, formula recall, deduction, and computation.»
عرض المصدر ←أدى حجب الانتباه عن آخر ٣٠ رمزًا سابقًا إلى إضعاف الإشارة المرتبطة بنوع خطوة التفكير، ما يشير إلى اعتمادها على السياق السابق.
«When they blocked attention to the preceding 30 tokens through a targeted intervention, the signal for that operation weakened.»
عرض المصدر ←تكرر الفصل بين خطوات التفكير في نموذج Llama-3-8B، كما انتقلت المصنفات المدربة على Qwen3-8B بنجاح إلى اختباري GPQA-Diamond وMATH-500.
«It replicated with Llama-3-8B, and for Qwen3-8B the trained classifiers transferred successfully to GPQA-Diamond and MATH-500.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر