Modelo mental

Pruebas secuenciales

Un enfoque flexible para tomar decisiones que te permite analizar la evidencia a medida que llega y detenerte antes de lo previsto cuando la respuesta está clara.

Descubre

Una empresa de software hace una prueba A/B de una función nueva. Tras recopilar solo el 10 % de los datos previstos, los primeros resultados muestran una mejora enorme. ¿Debería detener la prueba antes de lo previsto y lanzar la función?

¿Qué decisión es estadísticamente válida?

Entender los métodos secuenciales te mostrará cómo revisar los datos de forma ética.

Comprende

Comprende

Las pruebas secuenciales son como revisar lo que cocinas de vez en cuando en lugar de esperar a que suene el temporizador: puedes probarlo sobre la marcha y terminar antes si el plato ya está claramente listo o quemado. La mayoría de los métodos estadísticos tradicionales exige fijar de antemano el tamaño de la muestra, pero los métodos secuenciales te permiten analizar los datos a medida que llegan y detenerte cuando tienes evidencia suficiente para decidir. Este enfoque ahorra tiempo y recursos cuando los efectos son grandes, a la vez que te protege de conclusiones falsas cuando son pequeños o inciertos.

Comprueba esto: La próxima vez que tomes una decisión con datos que llegan poco a poco, pregúntate si estás revisándolos con las precauciones adecuadas.

Explicación completa

Explicación completa

Cómo funcionan las pruebas secuenciales

En las pruebas de hipótesis tradicionales, fijas el tamaño de la muestra antes de ver los datos. En cambio, las pruebas secuenciales tratan la recopilación de datos como un proceso continuo en el que evalúas la evidencia en puntos de análisis definidos de antemano. En cada punto, sueles tomar una de tres decisiones: detenerte por eficacia, detenerte porque hay pocas perspectivas de éxito o seguir recopilando datos. La clave está en ajustar los umbrales estadísticos en cada análisis para tener en cuenta que revisas los datos varias veces; de lo contrario, verías patrones que son solo ruido.

Las reglas de parada que te protegen

Las reglas de parada son límites definidos de antemano que te indican cuándo detenerte. Vienen en pares: un límite superior para detenerte porque has encontrado un efecto real y un límite inferior para detenerte porque la evidencia sugiere que hay pocas perspectivas de éxito o que es improbable encontrar un efecto relevante. Si te mantienes entre ambos límites, sigues recopilando datos. Las matemáticas garantizan que la tasa global de error se mantenga bajo control pese a revisar los datos varias veces. Es como colocar barreras de seguridad en una carretera de montaña: puedes avanzar y comprobar tu posición, mientras las barreras evitan que te salgas del camino.

Aplicaciones en el mundo real

Los ensayos clínicos usan pruebas secuenciales constantemente. Si un medicamento nuevo muestra un beneficio extraordinario al principio, el ensayo se detiene para ofrecer el tratamiento a los pacientes. Si muestra daños o una clara falta de perspectivas de éxito, se detiene para evitar desperdiciar recursos y poner vidas en riesgo. Las empresas tecnológicas usan experimentos secuenciales para lanzar productos y se detienen antes de lo previsto cuando las nuevas funciones muestran un éxito o un fracaso claro. El control de calidad en la fabricación usa planes de muestreo secuencial para inspeccionar lotes de piezas y se detiene cuando la calidad es claramente aceptable o inaceptable. En las operaciones financieras, se hace un seguimiento secuencial de las estrategias de inversión y se abandonan cuando se acumula evidencia de que no funcionan.

Implicaciones prácticas

Las pruebas secuenciales requieren planificación: debes definir los puntos de análisis y los límites antes de recopilar datos. No puedes simplemente «seguir mirando hasta encontrar algo»: eso garantiza falsos descubrimientos. Pero con un diseño secuencial adecuado ganas eficiencia: en promedio, los métodos secuenciales necesitan muestras más pequeñas para llegar a las mismas conclusiones que las pruebas con un tamaño de muestra fijo. A cambio, el diseño y el análisis son más complejos. En la mayoría de las decisiones prácticas en las que los datos llegan con el tiempo, esta complejidad se compensa con el ahorro de tiempo y recursos.

Investigación

Investigación

Abraham Wald fue pionero del análisis secuencial durante la Segunda Guerra Mundial al aplicarlo al control de calidad en la fabricación de municiones. Así proporcionó un marco riguroso para tomar decisiones con datos que se van acumulando. Desde entonces, el campo ha evolucionado para abordar diseños secuenciales complejos, métodos secuenciales por grupos y ensayos adaptativos sin perder la validez estadística.

Principales hallazgos de investigación:

  • Wald (1947): Desarrolló la prueba secuencial de razón de probabilidades (SPRT), que proporciona reglas de parada óptimas para contrastar hipótesis simples y minimiza el tamaño esperado de la muestra bajo ambas hipótesis [1].
  • Jennison y Turnbull (2000): Los métodos secuenciales por grupos permiten analizar los datos en intervalos discretos en lugar de hacerlo continuamente. Esto hace que los diseños secuenciales sean prácticos para ensayos clínicos con análisis periódicos [2].
  • Stefan et al. (2022): Los métodos secuenciales basados en factores de Bayes permiten comparar de forma eficiente la evidencia entre hipótesis y, junto con la razón de probabilidades previas, actualizar las probabilidades posteriores [5].

La idea fundamental es que los métodos secuenciales pueden alcanzar la misma potencia estadística con tamaños de muestra sustancialmente menores en promedio, sobre todo cuando el tamaño real del efecto difiere mucho de los supuestos usados para establecer los límites.

Limitaciones

Limitaciones

Las pruebas secuenciales requieren definir cuidadosamente los límites de parada de antemano. Decidir a posteriori si continuar o detenerse basándose en patrones «interesantes» invalida las garantías estadísticas. Los métodos suponen que la calidad de los datos se mantiene constante a lo largo del tiempo: los cambios en las prácticas de medición o en las características de la población pueden producir resultados engañosos. Calcular los límites correctos para diseños complejos, como ensayos con varios grupos de tratamiento o criterios de valoración compuestos, requiere software especializado o conocimientos expertos de estadística. Algunos contextos regulatorios siguen favoreciendo los diseños tradicionales con un tamaño de muestra fijo por ser más conocidos y por la preferencia habitual por opciones conservadoras.

Fuentes

Fuentes

Pruébalo

Comprueba lo que has entendido

Un equipo de marketing prueba dos asuntos de correo electrónico. Tras enviar los correos a 500 destinatarios, las tasas de apertura son del 15 % y del 18 %. El equipo planea incluir a 5000 destinatarios en total. ¿Qué enfoque preserva mejor la validez estadística y permite detener la prueba antes de lo previsto?

Ver la explicación de la guía

Respuesta: Definir los puntos de análisis y los umbrales ajustados antes de empezar

La idea clave de las pruebas secuenciales es que SÍ puedes revisar los datos antes de lo previsto, pero debes planificarlo. Definir de antemano los puntos de análisis y usar umbrales estadísticos ajustados, como los límites de O'Brien-Fleming o de Pocock, mantiene la tasa de error y permite detener la prueba cuando los resultados son claros. Revisar los datos sin haberlo planificado aumenta la tasa de falsos positivos, mientras que mantener rígidamente un tamaño de muestra fijo desperdicia recursos cuando los efectos son grandes.

¿Por qué revisar los datos repetidamente y detenerte cuando ves un resultado «significativo» lleva a falsos descubrimientos?

Ver la explicación de la guía

Respuesta: Las fluctuaciones aleatorias acaban pareciendo patrones si revisas los datos suficientes veces

Este es el problema de las comparaciones múltiples en acción. Si hay suficientes oportunidades de revisar los datos, el ruido aleatorio acabará produciendo un patrón llamativo por puro azar. Los métodos secuenciales resuelven esto al hacer más exigente el umbral estadístico en cada revisión, de modo que la tasa global de error se mantiene bajo control sin importar cuántas veces revises los datos.

Un ensayo clínico usa un diseño secuencial con límites de parada. Tras el tercer análisis intermedio, el estadístico de prueba cruza el límite inferior. ¿Qué significa esto?

Ver la explicación de la guía

Respuesta: Hay que detener el ensayo por futilidad: es poco probable que muestre un beneficio incluso con más datos

Los diseños secuenciales tienen dos límites: uno superior, que indica evidencia de eficacia, y otro inferior, que indica evidencia de futilidad o ausencia de efecto. Cruzar el límite inferior indica futilidad: es poco probable que el ensayo muestre un beneficio incluso con más datos. Esto va más allá de decir que «no hay evidencia suficiente»: es una decisión formal según la cual es poco probable que continuar cambie la conclusión. Detener un ensayo por futilidad ahorra recursos y evita exponer a los participantes a tratamientos ineficaces. Esta es una ventaja clave de los métodos secuenciales frente a los diseños con un tamaño de muestra fijo.

Sigue explorando

Encuentra otra idea para la decisión que tienes por delante.

Toda la biblioteca de Reframo es de lectura gratuita. Explora otra guía cuando quieras.