دراسة: أدوات الوكلاء المعقدة تزيد التكلفة دون تحسين الأداء

قاس باحثان من جامعة شاندونغ أثر أدوات تشغيل وكلاء البرمجة، ووجدا أن تبديلها لا يحسّن النتائج غالبًا، بينما قد يرفع تكلفة المهمة إلى ثلاثة أمثالها. وفي اختبار شمل ٤٤٧ مهمة، تقاربت نتائج Claude Code وmini-SWE-agent، لكن OpenCode تخلّف عنهما بما يصل إلى ٩ نقاط. ويعود فرق التكلفة أساسًا إلى التعليمات والأوصاف التي تُعاد مع كل خطوة؛ إذ بلغت نحو ١٦٬٦٠٠ رمز في Claude Code، مقابل أقل من ١٬٠٠٠ في mini-SWE-agent.
الحقائق الأساسية
في مجموعة من ٤٤٧ مهمة، لم يتجاوز الفارق بين Claude Code وmini-SWE-agent نقطتين.
«On the larger pool of 447 tasks, Claude Code and mini-SWE-agent, the heaviest and lightest harnesses, sit less than two points apart for both tested models.»
عرض المصدر ←قد تكلف المهمة الواحدة ثلاثة أمثالها باختلاف أداة التشغيل، مع تثبيت النموذج والمهام والأسعار.
«With the same model, same tasks, and same price list, a single task can cost up to three times more depending on the harness.»
عرض المصدر ←تبلغ تعليمات النظام وأوصاف الأدوات نحو ١٦٬٦٠٠ رمز في Claude Code، وأقل من ١٬٠٠٠ في mini-SWE-agent.
«They get resent with every step and run about 16,600 tokens for Claude Code, roughly 7,000 for OpenCode, and under 1,000 for mini-SWE-agent.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر