مدونة هجينج فيس تقترح تقليم النماذج كمسألة تحسين فيزيائية
قدّمت Multiverse طريقة لاختيار الكتل التي تُحذف من نماذج اللغة الكبيرة، بتحويل التقليم إلى مسألة تحسين ثنائي مقيّد مستوحاة من نظام إيزينغ الفيزيائي. وتربط الطريقة بين كل كتلة وتفاعلاتها مع الكتل الأخرى، ثم تستخدم قيمة طاقة محسوبة من مصفوفة هسّيان لتقدير جودة النموذج المضغوط من دون اختبار كل تركيبة فعليًا. وعند ضغط نموذج Llama-3.3-70B-Instruct بنسبة ٥٠٪، حققت الطريقة زيادة تقارب ٢٣ نقطة مئوية في معيار MMLU مقارنة بأفضل أسلوب منافس لحذف الكتل. ويمكن حساب بعض الحالات بالبحث الشامل، بينما تتولى خوارزميات كلاسيكية ومستوحاة من الحوسبة الكمية الحالات الأكبر.
الحقائق الأساسية
تعتمد الطريقة على حساب مصفوفة الهسّيان مرة واحدة باستخدام بيانات معايرة صغيرة، ثم تقييم كل تركيبة عبر حساب طاقة منخفض الكلفة.
«The Hessian, i.e. the full set of couplings, is computed just once, from forward and backward passes on a small calibration dataset.»
عرض المصدر ←تفوقت الطريقة بفارق يقارب ٢٣ نقطة مئوية في MMLU عند ضغط Llama-3.3-70B-Instruct إلى النصف.
«at 50% compression of Llama-3.3-70B-Instruct, we gain almost 23 percentage points on MMLU over the best competing block-removal method.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر