Segmentación de resultados de pruebas

Segmentar los resultados de una prueba significa dividir tus datos en subgrupos relevantes en lugar de fijarte solo en los promedios generales. Imagina un medicamento que ayuda al 70 % de los pacientes, pero perjudica al 30 % restante: el efecto promedio daría la impresión de que no hace nada, cuando en realidad tiene efectos potentes, pero opuestos, en distintos grupos. Del mismo modo, ese cambio en el proceso de pago podría haber ayudado a quienes usan dispositivos móviles y perjudicado a quienes usan computadoras, de modo que los efectos se anularan en el promedio general. Al analizar subgrupos según el tipo de dispositivo, la ubicación o la antigüedad del cliente, puedes encontrar efectos que los promedios ocultan por completo. La respuesta correcta a la pregunta inicial es que depende de los subgrupos: el equipo debería haber segmentado los datos para ver si distintos grupos de clientes respondieron de manera diferente antes de revertir el cambio.

Comprueba esto: La próxima vez que veas resultados sin cambios, pregúntate si has segmentado los datos según características relevantes.

Para segmentar, divides los datos de tu experimento en subgrupos según características que podrían ser relevantes: tipo de dispositivo, ubicación, usuarios nuevos o recurrentes, fuente de tráfico o comportamiento anterior. El proceso consiste en realizar primero el experimento para obtener resultados generales, después formular hipótesis sobre qué grupos podrían responder de manera diferente y, por último, analizar cada subgrupo por separado. Cuando los efectos varían entre grupos, el promedio general puede ocultar tanto los efectos positivos como los negativos.

El peligro de la paradoja de Simpson: Este fenómeno estadístico ocurre cuando una tendencia aparece en varios grupos de datos, pero desaparece o se invierte al combinarlos. El cambio en el proceso de pago podría haber aumentado la conversión en dispositivos móviles un 15 % y reducido la conversión en computadoras un 10 %. Si los usuarios de dispositivos móviles representan el 40 % de tu tráfico y los de computadoras el 60 %, el efecto general podría parecer neutro o incluso negativo, a pesar de ayudar a un segmento de usuarios grande y en crecimiento.

Un marco práctico para segmentar: Empieza por las características que ya registras. En comercio electrónico, segmenta por tipo de dispositivo, clientes nuevos o recurrentes y categoría de compra. En software para empresas, segmenta por tamaño de la empresa, función de la persona —quien toma las decisiones o quien usa el producto— y región geográfica. La clave es planificar tus segmentos antes de realizar el experimento para evitar seleccionar después solo los resultados que te convienen. Documenta de antemano tus hipótesis de segmentación y luego ponlas a prueba de forma sistemática.

Cuándo resulta más útil segmentar: La segmentación aporta más valor cuando tus usuarios tienen necesidades o contextos distintos. Un cambio en la página de precios podría atraer a clientes nuevos sensibles al precio y, a la vez, alejar a usuarios avanzados fieles. El rediseño de una función podría ayudar a los principiantes, pero frustrar a los expertos. En estos casos, segmentar te ayuda a decidir si conviene ofrecer experiencias diferentes a distintos segmentos en lugar de una solución única para todos.

La investigación sobre el análisis de subgrupos en experimentos muestra tanto su potencial como sus riesgos. Kohavi et al. (2020) destacan que una segmentación adecuada exige definir los subgrupos de antemano para evitar falsos hallazgos: si los científicos de datos dividen los datos de suficientes maneras después del experimento, siempre pueden encontrar algún segmento que muestre resultados positivos por casualidad [1]. Gelman (2017) demuestra cómo los modelos multinivel pueden mejorar las estimaciones de los subgrupos al aprovechar la información de otros segmentos, lo que reduce la alta varianza que dificulta el análisis de subgrupos pequeños [2].

• Kohavi et al. (2020): Los experimentos controlados en línea fiables definen los segmentos de antemano y aplican ajustes por comparaciones múltiples para evitar encontrar efectos espurios al buscar patrones indiscriminadamente en los datos [1].
• Gelman y Hill (2007): Los modelos multinivel o jerárquicos combinan parcialmente las estimaciones de cada segmento con las generales, equilibrando lo que se aprende de cada segmento con los patrones generales [3].
• Hsu et al. (2020): El análisis de subgrupos requiere muestras más grandes que los experimentos analizados en su conjunto para detectar efectos de interacción reales, ya que la potencia estadística está limitada por el segmento de interés más pequeño [4].

Segmentar plantea dificultades estadísticas: las muestras más pequeñas de cada subgrupo aumentan la varianza y reducen la potencia estadística, lo que dificulta detectar efectos reales. Cuantos más segmentos crees, más probable será que encuentres falsos positivos por puro azar: es el problema de las comparaciones múltiples. Debes registrar previamente las hipótesis de segmentación, antes de ver los resultados, para evitar el «p-hacking» —manipular el análisis para obtener resultados estadísticamente significativos— o seleccionar solo los resultados que te convienen. Además, los segmentos pueden interactuar de formas complejas. Un cambio podría ayudar a los usuarios de dispositivos móviles de California, pero perjudicar a los de Nueva York, lo que multiplica enormemente las posibles combinaciones de segmentos. Por último, los segmentos pueden cambiar con el tiempo: lo que funcionó el trimestre pasado para los usuarios nuevos podría no funcionar este trimestre si cambia la combinación de fuentes de tráfico.