ورقة بحثية تقترح بدائل لآلية الانتباه في نماذج الذكاء الاصطناعي
تقترح الورقة بنيةً لنماذج الذكاء الاصطناعي تستغني عن آلية الانتباه المعتادة، وتستخدم بدلًا منها تدفقات هندسية على فضاءات غراسمان. وفي اختبار نمذجة اللغة، حققت نماذجها نتائج تقارب نماذج Transformer المماثلة بالحجم، بينما تفوّق رأسها الهندسي قليلًا على رأس Transformer في مهمة استدلال لغوي. ويشير الباحثون إلى أن حساباتها تتدرج خطيًا مع طول التسلسل عند تثبيت الرتبة، وقد تتيح تفسيرًا أكثر تنظيمًا لطريقة استدلال الشبكات.
الحقائق الأساسية
تستخدم الطبقة المقترحة أزواجًا محلية من الرموز لتمثيل فضاءات ثنائية الأبعاد، ثم تدمج سماتها في الحالات المخفية.
«Instead of forming an L by L attention matrix, our Causal Grassmann layer (i) linearly reduces token states, (ii) encodes local token pairs as two-dimensional subspaces on a Grassmann manifold via Plucker coordinates, and (iii) fuses these geometric features back into the hidden states through gated mixing.»
عرض المصدر ←في اختبار SNLI، بلغت دقة النموذج ٠٫٨٥٥٠ للتحقق و٠٫٨٥٣٨ للاختبار، مقابل ٠٫٨٥٤٥ و٠٫٨٥١١ لرأس Transformer.
«On the SNLI natural language inference task, a Grassmann-Plucker head on top of DistilBERT slightly outperforms a Transformer head, with best validation and test accuracies of 0.8550 and 0.8538 compared to 0.8545 and 0.8511.»
عرض المصدر ←يقول الباحثون إن خلط غراسمان يتدرج خطيًا مع طول التسلسل عند تثبيت الرتبة.
«We analyze the complexity of Grassmann mixing, show linear scaling in sequence length for fixed rank, and argue that such manifold-based designs offer a more structured route toward geometric and invariant-based interpretations of neural reasoning.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر