Pruebas A/B

Una prueba A/B compara dos versiones al mismo tiempo: muestra una u otra al azar a distintas personas y mide cuál funciona mejor. La clave es probar ambas versiones a la vez; de lo contrario, no puedes saber con certeza qué causó la diferencia que observes. Por ejemplo, alguien que hace marketing por correo electrónico podría dividir su lista al azar en dos mitades y enviar un asunto distinto a cada una para ver cuál consigue más aperturas.

Comprueba esto: Fíjate en si hubo una asignación al azar cuando alguien afirme que una comparación es una prueba A/B.

Cómo funciona

Las pruebas A/B usan la asignación al azar para dividir a tu público en dos grupos estadísticamente similares. Ambos grupos tienen las mismas condiciones, salvo por el cambio concreto que quieres probar. Así puedes aislar el efecto de ese cambio. En el ejemplo del botón que pasa de azul a verde, en cambio, el momento, las condiciones del mercado o la pura suerte podrían explicar la diferencia.

Principios clave

Debes comparar las versiones al mismo tiempo. Si pruebas una versión en enero y otra en febrero, cualquier diferencia podría deberse a efectos estacionales y no al cambio en sí. También necesitas suficientes personas en cada grupo: las muestras pequeñas producen resultados engañosos que parecen significativos, pero que en realidad son variaciones debidas al azar.

Ejemplos en la práctica

Un servicio de streaming prueba dos algoritmos de recomendación: la mitad de los usuarios ve recomendaciones personalizadas según su historial de visualización y la otra mitad ve programas populares en ese momento. El servicio mide qué grupo ve más contenido durante la primera semana. Un sitio web de noticias prueba dos titulares para una misma noticia: la mitad de los visitantes ve uno centrado en los hechos y la otra mitad ve uno que apela a las emociones. Así busca entender cuál genera más interacción, mientras sigue de cerca las implicaciones éticas.

Cuándo son más útiles

Las pruebas A/B funcionan especialmente bien cuando tienes una métrica clara que quieres mejorar y suficiente tráfico para alcanzar la significación estadística rápidamente. Son menos útiles cuando los efectos tardan meses en aparecer o cuando las interacciones entre usuarios afectan a personas de otros grupos. La cuestión ética también importa: que puedas aumentar los clics no significa que debas manipular las emociones para conseguirlos.

Las pruebas A/B tienen sus raíces en el marco del diseño de experimentos de la investigación agrícola. En ese ámbito, los ensayos controlados aleatorizados establecieron los principios de la inferencia causal que hoy sustentan la experimentación digital. Su base estadística depende de las pruebas de hipótesis y de la capacidad de atribuir las diferencias observadas al tratamiento, es decir, al cambio que se prueba, en lugar de a la variación aleatoria.

• Kohavi, Thomke y Liu (2020): Las organizaciones que amplían la experimentación hasta realizar miles de pruebas al año obtienen una ventaja competitiva significativa. Las que tienen una cultura de experimentación madura atribuyen hasta un 10-25 % de su valor a los experimentos [1].
• Bakshy, Eckles y Bernstein (2014): La interferencia de red, que ocurre cuando los usuarios de distintos grupos de tratamiento se influyen entre sí, puede sesgar los resultados de las pruebas A/B. Es una preocupación clave para las plataformas sociales y los productos conectados en red [2].
• Box (1976): La pregunta práctica en la experimentación es «qué se puede aprender de este estudio», más allá de la significación estadística formal por sí sola. Esto pone el énfasis en el tamaño del efecto y la relevancia práctica por encima de los valores p [3].

Las pruebas A/B miden qué ocurrió, pero no por qué. Un cambio de color podría aumentar los clics, pero sin investigación cualitativa no sabrás si a los usuarios les resultó más atractivo, más visible o simplemente más difícil de ignorar. Estas pruebas también tienen dificultades para evaluar efectos a largo plazo: puedes medir rápidamente qué asunto de correo consigue más aperturas, pero necesitas otros métodos para seguir durante meses si las tácticas agresivas dañan la confianza. Surgen problemas éticos cuando la optimización se centra en métricas limitadas, como los clics, a costa del bienestar de los usuarios. Un ejemplo es el contenido que provoca indignación: funciona bien en las pruebas, pero perjudica el debate. Por último, las pruebas A/B solo pueden comparar las opciones que se te ocurre probar; no pueden descubrir innovaciones fuera del conjunto de hipótesis que consideras.