- Biblioteca
- Sistemas y complejidad
- Información y señales
- Alineación de métricas e intención
- Métricas proxy
Modelo mental
Métricas proxy
Cuando medimos sustitutos de lo que realmente importa, corremos el riesgo de optimizar los resultados equivocados.
Descubre
Un distrito escolar quiere mejorar la calidad de la educación. Empieza a recompensar a los docentes según los resultados de sus estudiantes en los exámenes. Al cabo de un año, los resultados suben un 30 %, pero el interés y la participación de los estudiantes caen drásticamente. ¿Qué está pasando?
Elige la explicación más probable
Veamos por qué pasa esto y cómo evitarlo
Comprende
Comprende
Las métricas proxy son medidas que usamos como sustitutos cuando no podemos medir lo que realmente nos importa. Por ejemplo, contar las horas trabajadas en lugar de medir la productividad, o registrar los clics en un sitio web en lugar de la satisfacción del cliente. El peligro aparece cuando olvidamos que son sustitutos imperfectos y empezamos a tratarlos como el objetivo real. Es como confundir el mapa con el territorio: la herramienta de medición se vuelve más importante que lo que debería representar.
Piensa en esto: ¿Qué métricas de tu vida podrían ser sustitutos de lo que realmente valoras?
Explicación completa
Explicación completa
Por qué usamos métricas proxy
Recurrimos a las métricas proxy porque lo que realmente valoramos suele ser complejo, subjetivo o difícil de medir. Es más difícil cuantificar la calidad del aprendizaje de los estudiantes que sus resultados en los exámenes. Es más difícil hacer un seguimiento de la creatividad de los empleados que de sus horas registradas. Es más difícil medir la lealtad de los clientes que su frecuencia de compra. Estas métricas nos dan algo concreto que contar y comparar.
El problema de la sustitución
El peligro aparece cuando sustituimos por completo el objetivo original por la métrica proxy. En el ejemplo escolar, probablemente los responsables querían desarrollar el pensamiento crítico, la creatividad y las habilidades para aprender durante toda la vida, pero los midieron con exámenes estandarizados. Cuando los docentes se centraron únicamente en mejorar los resultados de los exámenes, es posible que redujeran el tiempo dedicado al aprendizaje basado en proyectos, al debate y a la exploración guiada por la curiosidad, actividades que sí desarrollan una comprensión más profunda.
Trampas habituales
Este patrón se repite por todas partes: creadores de YouTube que optimizan el tiempo de visualización en lugar del valor educativo, centros de atención telefónica que miden la duración de las llamadas en lugar de la resolución de los problemas y departamentos de policía que registran el número de arrestos en lugar de la seguridad de la comunidad. Cada métrica proxy crea incentivos perversos que pueden perjudicar la misión original. La solución consiste en alinear mejor las métricas con lo que realmente importa, usar varias medidas complementarias y preguntarte con regularidad si tus métricas están al servicio de tus objetivos o se están convirtiendo en ellos.
Investigación
Investigación
La investigación en psicología organizacional y economía ha documentado ampliamente la ley de Goodhart y la ley de Campbell como principios fundamentales que explican por qué las métricas proxy suelen fallar. Cuando una medida se convierte en un objetivo, deja de ser una buena medida porque las personas optimizan la métrica en lugar de perseguir el objetivo que hay detrás.
Entre los principales hallazgos están:
- Goodhart (1975): Cuando una medida se convierte en un objetivo, deja de ser una buena medida [1]
- Campbell (1976): Cuanto más se utiliza un indicador social cuantitativo para tomar decisiones sociales, más expuesto está a presiones que lo corrompan [2]
- Meyer y Gupta (1994): Los sistemas de medición del desempeño suelen generar comportamientos disfuncionales cuando las métricas no están alineadas con los objetivos de la organización [3]
- Bevan y Hood (2006): Establecer metas en los servicios públicos suele tener consecuencias imprevistas, como manipular los indicadores o descuidar aspectos importantes que no se miden [4]
Limitaciones
Limitaciones
Las métricas proxy no son malas en sí mismas: a veces son la mejor opción disponible. El reto es conocer sus limitaciones. Algunos ámbitos se resisten por completo a la cuantificación, como el arte, las relaciones y el bienestar. En los sistemas complejos, puede ser necesario usar varias métricas que compitan entre sí. El contexto cultural también influye en qué métricas proxy funcionan: lo que motiva a las personas en una organización puede resultar contraproducente en otra. No toda optimización es perjudicial; a veces centrarse en una métrica proxy sí impulsa una mejora real, especialmente cuando se parte de niveles de desempeño bajos.
Fuentes
Fuentes
- [1] Problemas de la medición social: informe de la Conferencia sobre Medición SocialGoodhart, C.A.E. - 1975
- [2] Evaluación del impacto del cambio social planificadoCampbell, D.T. - 1976
- [3] La medición del desempeño y el proceso estratégico: revisión y marco para futuras investigacionesMeyer, M.W. & Gupta, V. - 1994
- [4] Lo que se mide es lo que importa: metas y manipulación de indicadores en el sistema público de atención sanitaria de InglaterraBevan, G. & Hood, C. - 2006
- [5] La tiranía de las métricasMuller, Jerry Z. - 2018
Pruébalo
Comprueba lo que has entendido
Una empresa quiere mejorar la innovación, así que empieza a registrar cuántas ideas nuevas presentan sus empleados. Seis meses después, la cantidad de ideas presentadas ha aumentado un 300 %, pero la cantidad de innovaciones realmente implementadas sigue igual. ¿Qué principio explica mejor este resultado?
Ver la explicación de la guía
Respuesta: La ley de Goodhart
Esto demuestra la ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. Los empleados optimizaron la métrica, es decir, la cantidad de ideas presentadas, en lugar de perseguir el objetivo real: las innovaciones implementadas.
¿Qué situación muestra el enfoque más adecuado para medir algo importante?
Ver la explicación de la guía
Respuesta: Una aplicación de actividad física usa varias métricas: pasos, minutos de actividad, zonas de frecuencia cardíaca y niveles de energía que reportan los usuarios
Este enfoque usa varias métricas complementarias para captar distintos aspectos de la condición física y reconoce que ninguna métrica proxy puede representar por sí sola la salud general. La variedad de medidas ofrece una imagen más completa.
¿Cuál era el problema central en la situación del distrito escolar del inicio?
Ver la explicación de la guía
Respuesta: Los resultados de los exámenes no reflejan la calidad del aprendizaje
El problema fundamental fue tratar los resultados de los exámenes como una medida completa de la calidad educativa, cuando en realidad son una métrica proxy limitada. Esto llevó a optimizar el desempeño en los exámenes a costa del interés, la participación y un aprendizaje más profundo.
Sigue explorando
Encuentra otra idea para la decisión que tienes por delante.
Toda la biblioteca de Reframo es de lectura gratuita. Explora otra guía cuando quieras.