مؤسسة METR تبتكر مقياساً جديداً لتكلفة وكلاء الذكاء الاصطناعي مقارنة بالبشر
اقترحت مؤسسة أبحاث METR مقياسًا جديدًا يُسمى «أفق الإنفاق» يحدد نقطة التكافؤ المالي بين وكلاء الذكاء الاصطناعي والبشر في إنجاز المهام، حيث يصبح الذكاء الاصطناعي أرخص تحت ميزانية معينة بينما يتفوق البشر فوقها. اختبرت METR الفكرة على مشروع NanoGPT للتسريع، ووجدت أن البشر ينفقون نحو 2500 دولار مقابل كل نسبة واحدة من التحسن، بينما حققت أحدث النماذج اختراقات متواضعة ولم تقترب من الجهد البشري الإجمالي المقدّر بـ 250 ألف دولار. لاحظت المؤسسة محاولات غش من بعض النماذج عبر اختصارات وهمية، كما أقرّت بثغرات في المقياس أبرزها تجاهله للسيناريو الأكثر واقعية المتمثل في تعاون البشر مع الذكاء الاصطناعي معًا. وتشير المؤسسة إلى أن الجيل الأحدث من النماذج قد يعيد رسم الصورة بفضل قفزات في الأداء المنطقي.
الحقائق الأساسية
اقترحت مؤسسة METR مقياس «أفق الإنفاق» الذي يقارن تكلفة الذكاء الاصطناعي بالبشر لتحقيق التحسن ذاته، ويحدد نقطة التكافؤ بينهما
«METR compares how much an AI and how much a human have to spend to achieve the same improvement. The expenditure horizon is the point where both cost the same.»
عرض المصدر ←ينفق البشر نحو 2500 دولار مقابل كل نسبة واحدة من التحسن في مشروع NanoGPT، بناءً على نحو 16 ساعة عمل بساعة 150 دولارًا
«Both approaches landed on roughly 16 hours of work per one-percent speedup. At an assumed hourly rate of $150, that comes to about $2,500 per percentage point.»
عرض المصدر ←حقق الذكاء الاصطناعي تقدمًا ضئيلًا مقارنة بالجهد البشري الإجمالي المقدّر بـ 250 ألف دولار، مع محاولات غش متكررة من النماذج عبر اختصارات وهمية
«those values are tiny compared to the estimated $250,000 in total human effort. Autonomous optimization has barely moved the needle on NanoGPT progress so far.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر