Elección de métricas principales

Una métrica principal es el número más importante para saber si un cambio tuvo éxito. Es la «estrella polar» de tu proyecto: evita que te distraigas con datos que no importan para tu objetivo concreto.

Para la nueva función «Historias», la mejor opción es centrarse en cuántas personas crean historias cada día, porque mide directamente cuántas están adoptando el propósito principal de la función: crear contenido. Elegir un objetivo claro ayuda a todo el equipo a centrarse en lo que realmente impulsa el éxito.

Pregúntate: «¿Qué único comportamiento, si cambiara, me indicaría que hemos tenido éxito?»

Elegir una métrica principal es el primer paso fundamental para medir el éxito de cualquier cambio, desde el rediseño de un sitio web hasta un nuevo hábito personal. El objetivo es resumir un resultado complejo en un solo número, sensible y fácil de entender, que suele llamarse criterio de evaluación global, u OEC por sus siglas en inglés.

Principios clave de una buena métrica principal

Una buena métrica principal debe ser:

• Accionable: Debe estar directamente relacionada con un comportamiento en el que puedas influir.
• Sensible: Debe poder detectar el impacto de tus cambios, aunque sea pequeño.
• Comprensible: Todo el equipo debe poder entender qué significa y por qué importa.

Por ejemplo, un sitio de comercio electrónico que prueba un nuevo botón de pago debería usar la tasa de conversión (compras por visitante) como métrica principal, en lugar de limitarse a los clics en el nuevo botón. La tasa de conversión conecta el cambio directamente con el objetivo final del negocio: vender más productos.

En otro ámbito, el gobierno de una ciudad quiere mejorar la fluidez del tráfico. Una mala métrica principal sería el «número de semáforos nuevos instalados». Una mucho mejor sería el «tiempo medio de desplazamiento por el centro de la ciudad en horas punta», porque mide directamente la experiencia de los habitantes.

Al comprometerte con una sola métrica principal, obligas al equipo a aclarar el objetivo y ponerse de acuerdo. Así evitas que se seleccionen solo los datos que respaldan el resultado deseado y centras a todos en una definición compartida del éxito. Esto se equilibra con métricas de protección para vigilar posibles efectos secundarios no deseados.

El concepto de métrica principal, o criterio de evaluación global (OEC, por sus siglas en inglés), es uno de los pilares de la experimentación fiable en línea. Se podría decir que seleccionar un buen OEC es el paso más importante, porque define el éxito y puede tener un enorme impacto a largo plazo en un producto o negocio. Los investigadores destacan que una buena métrica debe ser sensible desde el punto de vista estadístico y, además, tener una relación causal con los objetivos estratégicos a largo plazo, una conexión que a menudo resulta difícil de establecer.

• Kohavi, Tang y Xu (2020) sostienen que el OEC debe ser una medida cuantitativa del objetivo de un experimento y estar alineado con el valor a largo plazo. Advierten del riesgo de optimizar métricas a corto plazo que podrían resultar perjudiciales con el tiempo. [1]
• Deng y Shi (2016), de Microsoft, describen un proceso basado en datos para desarrollar métricas. Destacan que las buenas métricas deben ser sensibles, fiables e interpretables, lo que a menudo requiere combinar conocimientos del ámbito en cuestión con análisis estadístico. [2]
• Casey Winters, de Reforge, explica que una métrica estrella polar debe representar el valor central que se ofrece a los clientes. Sostiene que centrarse en esta única métrica orienta a toda la empresa hacia un crecimiento sostenible impulsado por el producto. [3] (s. f.)

Centrarse en una única métrica principal puede hacer que pierdas de vista el conjunto. Al perseguir su objetivo principal, los equipos podrían perjudicar sin querer otros aspectos de la experiencia del usuario, un problema conocido como «fijación en la métrica». Por eso, las métricas principales deben acompañarse de métricas de protección (por ejemplo, latencia, bajas de suscripciones o contactos con soporte) para vigilar posibles consecuencias negativas.

Además, una métrica principal que funciona a corto plazo puede no estar relacionada con el éxito a largo plazo. Por ejemplo, aumentar las notificaciones por correo electrónico podría impulsar la interacción diaria (una métrica principal), pero provocar cansancio entre los usuarios y desinstalaciones a lo largo de los meses.