Monitoreo práctico de métricas de protección

Monitorear las métricas de protección significa estar atento a los efectos negativos imprevistos cuando haces un cambio. Aunque tengas un objetivo principal, como aumentar las ventas, estas métricas funcionan como una red de seguridad para evitar que empeores las cosas sin querer, por ejemplo, al introducir errores o frustrar a los usuarios. En el caso del proceso de pago, un aumento brusco de las solicitudes de asistencia al cliente es la métrica de protección más importante porque indica directamente que los usuarios tienen problemas. Un restaurante podría introducir un plato nuevo muy popular y usar métricas de protección para vigilar si los tiempos de espera en la cocina se vuelven inaceptablemente largos para todos los clientes.

Pregúntate: ¿Qué podría salir mal con este cambio y cómo lo mediríamos?

En la práctica, monitorear las métricas de protección es un proceso sistemático para proteger la experiencia del usuario y la salud del negocio durante cualquier cambio, como una prueba A/B o el lanzamiento gradual de una función. Transforma la pregunta «¿Funcionó?» en «¿Funcionó y estropeó algo importante?».

El proceso de monitoreo

El proceso sigue una secuencia clara:

1. Identificar los riesgos: Antes del lanzamiento, el equipo hace una lluvia de ideas sobre las posibles consecuencias negativas. ¿Podría este cambio volver más lenta la aplicación? ¿Confundir a los usuarios? ¿Reducir la seguridad? ¿Disminuir la confianza a largo plazo?
2. Seleccionar las métricas: Para cada riesgo, se elige una métrica de protección específica y medible. Si el riesgo es que la aplicación se vuelva lenta, se usa el tiempo de carga de la página o el tiempo de respuesta del servidor. Si es la confusión de los usuarios, se usan las tasas de error o los contactos con el servicio de atención al cliente.
3. Fijar umbrales y configurar alertas: El equipo define qué se considera un fallo. Por ejemplo, un aumento del cinco por ciento en el tiempo de carga o del diez por ciento en los errores podría ser inaceptable. Se configuran alertas automáticas que se activan si una métrica supera ese umbral.
4. Monitorear y actuar: Durante el lanzamiento gradual de la función, el equipo sigue estas métricas de cerca. Si se activa una alerta, el procedimiento habitual es pausar o revertir el cambio de inmediato para evitar más daños mientras el equipo investiga la causa.

Aplicaciones en distintos ámbitos

• Comercio electrónico: Un sitio prueba un nuevo algoritmo de recomendación para aumentar las ventas, su métrica principal. Las métricas de protección incluyen las tasas de devolución de productos y la cantidad de usuarios que desactivan las recomendaciones, para asegurar que las nuevas sugerencias no sean de mala calidad ni molestas.

• Tecnología sanitaria: Un hospital lanza un nuevo portal para pacientes con el fin de agilizar la comunicación. Las métricas de protección incluirían una disminución en la asistencia a las citas o un aumento de las llamadas a recepción. Estos cambios indicarían que el portal resulta confuso o inaccesible para algunos pacientes.

El monitoreo de métricas de protección es un pilar de las plataformas de experimentación maduras. Ayuda a asegurar que el esfuerzo por optimizar una métrica principal no perjudique sin querer al sistema en su conjunto. Este concepto suele formalizarse mediante un criterio de evaluación global (OEC, por sus siglas en inglés), que equilibra los objetivos a corto plazo con el bienestar de los usuarios y la salud del negocio a largo plazo. El principio central es que un experimento exitoso debe mostrar una mejora estadísticamente significativa en la métrica objetivo y, además, demostrar que las métricas de protección críticas no presentan un deterioro significativo.

• Kohavi, Tang y Xu (2020): Destacan que ninguna métrica es perfecta y proponen usar un cuadro de mando equilibrado, en el que las métricas de protección —denominadas métricas de «calidad de los datos» y de «salud»— son esenciales para tomar decisiones de negocio fiables a partir de los resultados de los experimentos. [1]
• Kohavi et al. (2012): Describen el sistema de experimentación a gran escala de Microsoft, que depende en gran medida de comprobaciones automáticas de cientos de métricas de protección. Estas permiten detectar cambios inesperados en el rendimiento del sistema, los ingresos o la participación de los usuarios antes de que causen daños generalizados. [2]
• Fabijan et al. (2019): Describen en detalle la plataforma de experimentación de Netflix y destacan la necesidad de contar con métricas de protección para mantener la estabilidad del sistema y una experiencia positiva para sus suscriptores. Señalan que estas métricas evitan que las optimizaciones «locales» causen problemas «globales» en su complejo servicio. [3]

Aunque es esencial, el monitoreo de métricas de protección presenta dificultades. Los equipos pueden sufrir fatiga por alertas si monitorean demasiadas métricas de protección poco críticas o si los umbrales son demasiado sensibles. Esto puede llevarlos a ignorar señales importantes. Además, estas métricas tienden a centrarse en datos cuantificables y de corto plazo, por lo que pueden pasar por alto efectos negativos sutiles y de largo plazo, como la pérdida de confianza en la marca o de buena disposición de los usuarios. Por último, crear y mantener la infraestructura necesaria para un monitoreo sólido en tiempo real exige una inversión considerable en ingeniería, lo que puede ser una barrera para las organizaciones más pequeñas.