Métricas de protección

Una métrica de protección es un control de seguridad que supervisas durante un experimento para asegurarte de que la mejora que buscas no cause daños imprevistos. Mientras te centras en mejorar la métrica principal de éxito, las métricas de protección te ayudan a detectar efectos secundarios negativos. Piensa en las barreras de seguridad de una carretera: tu objetivo es ir rápido, pero las barreras evitan que te precipites por un acantilado.

Por ejemplo, si una aplicación de noticias usa titulares más sensacionalistas para aumentar los clics (la métrica principal), una métrica de protección clave sería la tasa de cancelación de suscripciones. Así te aseguras de que el cambio no aleje a las personas a largo plazo.

Pregúntate: ¿Qué indicador vital de mi proyecto no debe empeorar mientras intento mejorar otra cosa?

Las métricas de protección evitan una trampa habitual: la optimización local, que ocurre cuando mejoras una parte de un sistema a costa del conjunto. Un cambio puede impulsar la métrica principal y parecer un éxito, mientras perjudica sin que lo notes la confianza de los usuarios, el rendimiento del sistema o los ingresos a largo plazo.

Estas métricas funcionan como alarmas que defines de antemano para tu experimento. Las estableces antes de comenzar la prueba y las supervisas junto con la métrica principal de éxito para detectar cambios negativos estadísticamente significativos.

Si una métrica de protección cruza el límite establecido, por ejemplo, si los tiempos de carga de las páginas se disparan o aumentan las solicitudes de asistencia al cliente, es una señal clara para detener el experimento. Esto se aplica incluso si alcanzaste el objetivo principal y te lleva a reconsiderar el cambio.

En el comercio electrónico, un sitio que prueba un proceso de pago más sencillo para aumentar las conversiones (la métrica principal) debería supervisar el valor medio de los pedidos. Así se asegura de que el cambio no provoque, sin querer, que los usuarios compren menos o necesiten más asistencia al cliente.

Una plataforma de redes sociales que busca aumentar el tiempo que los usuarios pasan frente a la pantalla (la métrica principal) debe vigilar métricas de protección como las denuncias de acoso o las tasas de bloqueo de usuarios. Así evita que las interacciones tóxicas sean el motor de la «participación».

En el ámbito sanitario, un hospital que implementa un programa para dar el alta a los pacientes más rápido (la métrica principal) debe usar la tasa de reingreso a los 30 días como una métrica de protección crucial. Así se asegura de que las mejoras de eficiencia no comprometan los resultados de salud de los pacientes.

En el campo de los experimentos controlados en línea (pruebas A/B), las métricas de protección se consideran un componente fundamental de una cultura de experimentación madura y fiable. Convierten la evaluación del impacto global de los cambios en una práctica habitual, más allá de una única métrica de éxito de alcance limitado. Este enfoque ayuda a las organizaciones a equilibrar la innovación con la estabilidad y a proteger la experiencia del usuario frente a un deterioro imprevisto.

• Kohavi, Tang y Xu (2020) formalizan este concepto y explican que las métricas de protección son esenciales para evitar que los equipos canten victoria al alcanzar un «máximo local» (por ejemplo, más clics), mientras causan daños que no están midiendo en el conjunto del sistema (por ejemplo, menores ingresos). [1]
• Gupta (2018) señala que las métricas de protección habituales se agrupan en distintas categorías, como el rendimiento del sistema (por ejemplo, tiempo de carga de las páginas y latencia), la interacción básica de los usuarios (por ejemplo, tasa de rebote y sesiones por usuario) y los resultados clave del negocio (por ejemplo, ingresos por usuario y tasa de cancelación de suscripciones). [2]
• Ingenieros de Airbnb (2017) describen cómo aplican métricas de protección en sistemas complejos, como la ordenación de los resultados de búsqueda. Supervisan métricas como las tasas de reserva y las cancelaciones por parte de los anfitriones para asegurarse de que los cambios del algoritmo destinados a mejorar la relevancia de las búsquedas no perjudiquen el buen funcionamiento del mercado. [3]

Aunque son esenciales, las métricas de protección tienen limitaciones. Tener demasiadas puede generar ruido y aumentar la probabilidad de un falso positivo: una métrica que muestra un cambio negativo debido al azar. Esto podría llevarte a detener antes de tiempo un experimento beneficioso. Por otro lado, unas métricas de protección mal elegidas pueden no ser lo bastante sensibles para detectar efectos negativos sutiles pero importantes. También existe el riesgo de que unas métricas de protección demasiado estrictas frenen las innovaciones más atrevidas por proteger en exceso el funcionamiento actual del sistema.