Modelo mental

Efectos de segundo orden de las métricas

Consecuencias imprevistas y a menudo perjudiciales de optimizar las métricas en vez de alcanzar los objetivos previstos, que hacen que la métrica pierda su valor como guía.

Descubre

Un hospital exige a sus médicos que mantengan altas las puntuaciones de satisfacción de los pacientes. ¿Qué enfoque beneficia más a los pacientes a largo plazo?

Elige el enfoque que dé mejores resultados para los pacientes

Descubre por qué medir la satisfacción puede tener efectos contraproducentes.

Comprende

Comprende

Cuando mides algo para mejorarlo, las personas suelen cambiar su comportamiento para subir las cifras en lugar de alcanzar el objetivo real. Piensa en un estudiante que memoriza respuestas para sacar una buena nota en un examen sin aprender realmente el contenido. Este fenómeno, que los investigadores conocen como la ley de Campbell, explica por qué las métricas de rendimiento pueden, paradójicamente, empeorar los resultados. Reflexiona sobre esto: ¿Qué métricas de tu vida podrían estar influyendo en el comportamiento de formas imprevistas?

Explicación completa

Explicación completa

Los efectos de segundo orden de las métricas surgen cuando las mediciones, aunque tengan una buena intención, crean incentivos que perjudican su propósito original. El mecanismo es sencillo: las personas responden a lo que se mide, no a lo que se pretende conseguir.

Estos patrones aparecen en distintos ámbitos: los sitios web que buscan optimizar las métricas de interacción promueven contenido sensacionalista que aumenta los clics, pero reduce la calidad de la información; los directivos evaluados por sus resultados trimestrales a corto plazo recortan inversiones en investigación que impulsarían el crecimiento a largo plazo. La solución pasa por diseñar las métricas con cuidado, usar varios indicadores, cambiar periódicamente las medidas para evitar que se manipule el sistema y considerar siempre qué comportamientos podrían incentivar tus métricas sin querer, en lugar de dejar de medir.

Investigación

Investigación

La investigación sobre las consecuencias imprevistas de las métricas abarca varias disciplinas. La ley de Campbell (1976) estableció que los indicadores sociales cuantitativos usados para tomar decisiones se distorsionan cada vez más cuando se someten a presión, lo que corrompe tanto el proceso de medición como los procesos sociales que busca supervisar. Muller (2018) documentó cómo la fijación en las métricas en la medicina, la educación, la actividad policial y las empresas desplaza el criterio profesional y crea incentivos perversos [1]. Smith (1995) identificó ocho categorías de consecuencias imprevistas de la publicación de datos de rendimiento en el sector público, entre ellas la visión de túnel, la fijación en los indicadores y la presentación engañosa de la información [2].

Franco-Santos (2012): Una revisión sistemática de las consecuencias imprevistas de los sistemas de gestión del rendimiento encontró cinco patrones recurrentes —manipulación del sistema, visión de túnel, fijación en los indicadores, miopía e interpretación errónea— presentes tanto en el sector público como en el privado [3].

Rambur (2013): Documentó daños derivados de las métricas en la atención sanitaria y mostró que el personal de enfermería daba prioridad a los aspectos de la atención sujetos a auditoría sobre otros igual de importantes que no se medían, como la educación del paciente y el apoyo emocional. Este patrón se denomina visión de túnel [4].

Limitaciones

Limitaciones

No todas las métricas producen efectos de segundo orden perjudiciales. Las investigaciones sugieren que las medidas mal diseñadas, la fijación en una sola métrica, las consecuencias de gran impacto y la falta de integración del criterio profesional aumentan el riesgo. Algunos estudios documentan casos en los que las métricas mejoraron los resultados sin que se manipulara el sistema, especialmente cuando las medidas se ajustaban bien a los objetivos reales, incluían varios indicadores equilibrados, incorporaban a los profesionales en su diseño y dejaban margen para aplicar el propio criterio. El contexto importa: los entornos competitivos, las limitaciones de recursos y la presión externa amplifican la distorsión. La literatura también debate si los daños documentados son contrapartidas inevitables o fallos de diseño que se pueden prevenir. Algunos investigadores sostienen que conocer la ley de Campbell y diseñar las métricas con cuidado puede mitigar la mayoría de las consecuencias imprevistas, aunque eliminarlas por completo podría ser imposible.

Fuentes

Fuentes

Pruébalo

Comprueba lo que has entendido

Una empresa de software mide la productividad de sus desarrolladores por las líneas de código que escriben al día. A lo largo de seis meses, la calidad del código disminuye y los errores aumentan. ¿Qué concepto explica mejor este patrón?

Ver la explicación de la guía

Respuesta: Efectos de segundo orden de las métricas

La métrica de productividad incentivó a los desarrolladores a escribir más líneas de código en lugar de escribir mejor código. Es un efecto de segundo orden clásico: la métrica, las líneas de código, se convirtió en el objetivo en lugar de la productividad real, lo que empeoró los resultados. La medida desvió el comportamiento hacia lo que era fácil de cuantificar en lugar de lo que realmente importaba: un software de calidad que respondiera a las necesidades de los usuarios.

¿Qué opción muestra mejor cómo mitigar los efectos de segundo orden al diseñar métricas de rendimiento?

Ver la explicación de la guía

Respuesta: Usar varias medidas equilibradas, cambiarlas periódicamente e involucrar a los profesionales en el diseño

Las investigaciones muestran que esta combinación reduce la manipulación del sistema y la visión de túnel. Usar varias medidas evita la fijación en una sola métrica, cambiarlas periódicamente impide las estrategias de manipulación a largo plazo e involucrar a los profesionales garantiza que las métricas reflejen el trabajo real en lugar de indicadores indirectos fáciles de medir. Este enfoque mantiene la correspondencia entre lo que se mide y lo que realmente importa, y reduce la brecha entre las métricas y los objetivos reales que da lugar a los efectos de segundo orden.

Verdadero o falso: Los efectos de segundo orden de las métricas siempre hacen que la métrica parezca mejorar mientras el objetivo real empeora.

Ver la explicación de la guía

Respuesta: Falso

Aunque la métrica suele parecer que mejora porque las personas buscan optimizarla, esta relación no es absoluta. A veces, las métricas no mejoran a pesar de la manipulación del sistema. Otras veces, tanto la métrica como el objetivo real mejoran al principio y luego se separan a medida que se intensifica la optimización. La idea clave es que, con el tiempo, la métrica se desconecta cada vez más del objetivo real, a medida que las personas adaptan su comportamiento a la propia medida. La distorsión aumenta con la presión por rendir y con la facilidad para manipular el sistema en torno a esa medida concreta.

Sigue explorando

Encuentra otra idea para la decisión que tienes por delante.

Toda la biblioteca de Reframo es de lectura gratuita. Explora otra guía cuando quieras.