Diseño de resultados y métricas

Diseñar resultados y métricas consiste en convertir un objetivo general en un resultado concreto y medible. Primero defines un resultado observable que muestre que estás cumpliendo el objetivo y luego eliges una métrica, es decir, un número, para seguir ese resultado. Para una aplicación de ejercicio que busca «mejorar la salud», un resultado concreto sería «los usuarios aumentan el ejercicio cardiovascular que hacen cada semana», y la métrica podría ser «el promedio de minutos de actividad registrados por semana».

Prueba esto: ¿Qué cambio concreto quiero ver y cómo puedo cuantificarlo?

Para medir algo de forma eficaz, necesitas un proceso claro que vaya de lo abstracto a lo concreto. Así evitas seguir métricas que no son realmente relevantes para tu objetivo principal.

El proceso: del objetivo al resultado y a la métrica

1. Empieza por el objetivo: Es tu propósito general. A menudo es amplio y expresa una aspiración, como «mejorar la colaboración del equipo» o «aumentar la participación de los estudiantes».
2. Define el resultado: Un resultado es un cambio concreto y observable en una conducta o un estado que sugiere que estás logrando tu objetivo. Si el objetivo es «mejorar la colaboración del equipo», un buen resultado sería «los miembros del equipo comentan el trabajo de sus compañeros con más frecuencia».
3. Elige las métricas: Una métrica es el número concreto que vas a seguir para cuantificar el resultado. Para el resultado de colaboración, una métrica podría ser «el promedio de comentarios por documento compartido».

Ejemplos prácticos

• Políticas públicas: Una ciudad tiene como objetivo «aumentar la seguridad pública». Un resultado concreto es «reducir los accidentes de tráfico en una intersección peligrosa». La métrica principal podría ser el «número de colisiones notificadas al mes en esa intersección».

• Empresas: Una empresa tiene como objetivo «mejorar la satisfacción del cliente». Un resultado relevante es «resolver los problemas de los clientes más rápido». La métrica clave podría ser el «tiempo promedio de resolución de las solicitudes de soporte, en horas».

También es importante seguir tanto los indicadores adelantados como los rezagados. Un indicador rezagado mide el resultado final, como las ventas trimestrales, mientras que un indicador adelantado predice ese resultado, como el número de llamadas de ventas realizadas esta semana. Un buen plan de medición incluye ambos para saber si vas por buen camino.

Definir bien los resultados y las métricas es una base fundamental de la experimentación rigurosa en la ciencia y en las empresas. Este proceso exige claridad y evita que los investigadores o los equipos cambien sus criterios de éxito después de ver los datos, una práctica conocida como «p-hacking» o «cherry-picking» (manipulación del análisis estadístico o selección interesada de datos). Este enfoque estructurado garantiza que el éxito se defina de forma objetiva antes de iniciar una intervención.

• Los investigadores que siguen las directrices CONSORT para ensayos controlados aleatorizados deben especificar de antemano sus resultados principales y secundarios antes de iniciar el estudio, para evitar sesgos al comunicar los resultados. [1]
• Manheim y Garrabrant (2018) formalizaron la ley de Goodhart. Explicaron que, cuando una métrica se convierte en un objetivo, deja de ser una buena métrica porque las personas empiezan a manipularla, a menudo a costa del objetivo original. [2]
• Hubbard (2014) sostiene que muchos de los llamados «intangibles», como la calidad, el riesgo o la felicidad, se pueden medir si primero se desglosan en sus consecuencias observables. [3]

Depender demasiado de las métricas puede tener consecuencias negativas no deseadas. Según la ley de Goodhart, cuando una medida se convierte en un objetivo, deja de ser una buena medida. Por ejemplo, si se evalúa a los empleados de un centro de atención telefónica únicamente por el «número de llamadas atendidas por hora», podrían apresurarse a terminar las llamadas con los clientes y perjudicar su satisfacción.

Además, existe el riesgo de centrarse solo en lo que resulta fácil de medir e ignorar resultados más importantes pero difíciles de cuantificar, como la creatividad de los empleados, la reputación de la marca a largo plazo o la capacidad de pensamiento crítico de los estudiantes.