الذكاء الاصطناعي٢٥ أغسطس ٢٠٢٦
هجينغ فيس تطور تقنية ضغط نماذج تتفوق على دقتها الأصلية
قدّمت هَغِنغ فيس تقنيةً لتضميد النماذج بعد ضغطها، وتنتج نموذجًا بحجم ٤ بت يتفوّق على نسخته الأصلية كاملة الدقة. طُبّقت الطريقة على نموذج GPT-OSS 120B خُفّض إلى 60B مَعلمة، ففاز النموذج المضغوط في ٧ من أصل ٩ اختبارات. ويتفوّق النموذج على نسخته ذات الدقة الأعلى في الاستدلال طويل السياق والرياضيات، مع مكاسب بلغت ٧٫٤ و٥٫٦ نقاط. وبحسب النتائج، صار النموذج أصغر وأقل كلفة في التشغيل وأكثر دقة من النموذج الذي جرى ضغطه.
الحقائق الأساسية
خسر النموذج في اختبارين فقط، وكان الفارق في كليهما أقل من ١٫٥ نقطة.
«The two benchmarks where QAH trails, MMLU-Pro and SciCode, lose by less than a point and a half.»
عرض المصدر ←يتفوّق النموذج المضغوط على النموذج الأصلي كامل الحجم في اختبار LiveCodeBench، ويقترب منه في GPQA Diamond.
«Despite running at half the teacher's parameter count and roughly a quarter of its weight memory, the QAH model surpasses the full-size teacher on LiveCodeBench (66.5 vs. 66.0) and comes within 1.6 points on GPQA Diamond (67.4 vs. 69.0).»
عرض المصدر ←تعتمد التقنية على تدريب النموذج المضغوط مباشرةً من النموذج الأصلي قبل الضغط، لا من نسخة مستعادة منه.
«QAH removes that ceiling with one change: it distills directly from the original, pre-compression model rather than from the recovered one.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر