Pruebas secuenciales y SPRT

Para ciertos métodos estadísticos, es un mito que debas fijar de antemano el tamaño de la muestra. Las pruebas secuenciales te permiten analizar los resultados a medida que llegan los datos y detenerte en cuanto tienes una respuesta con suficiente confianza. En vez de comprometerte a encuestar a 1.000 personas, revisas cada respuesta para ver si la evidencia es lo bastante sólida como para favorecer una conclusión frente a otra. Es como probar la sopa mientras cocinas: añades sal, remueves, pruebas y repites hasta que queda perfecta, sin fijar de antemano cuántas veces vas a probarla.

Pregúntate: ¿Podría tomar esta decisión con menos información si fuera revisando mi progreso?

Las pruebas secuenciales te ofrecen un marco para tomar decisiones en condiciones de incertidumbre sin fijar de antemano el tamaño de la muestra. Esto resulta especialmente útil cuando recopilar datos es costoso o lleva mucho tiempo. El proceso empieza definiendo dos hipótesis contrapuestas (por ejemplo, «La nueva función aumenta la interacción» frente a «La nueva función no tiene ningún efecto») y las tasas de error aceptables para la decisión.

A partir de estos criterios, se establecen dos límites de decisión antes de empezar la prueba. Cada vez que se obtiene un nuevo dato, se actualiza una medida estadística que refleja la evidencia acumulada, normalmente una «razón de verosimilitud». Después, se compara esta medida con los límites fijados.

Si la medida cruza el límite superior, la prueba termina y se acepta la primera hipótesis. Si cruza el límite inferior, la prueba termina y se acepta la segunda. Si se mantiene entre ambos límites, se siguen recopilando datos. Este proceso metódico garantiza que cualquier decisión de detener la prueba antes de tiempo sea estadísticamente válida y no simplemente el resultado de haber consultado los datos demasiado pronto.

Este método permite llegar a una conclusión con el nivel de confianza deseado, a menudo mucho más rápido y con menos recursos que una prueba tradicional con una muestra de tamaño fijo. Por ejemplo, una fábrica puede comprobar sus productos uno por uno. Si los primeros cinco no tienen ningún defecto, la prueba podría indicar que ya se puede detener y aprobar el lote. Del mismo modo, un sitio de comercio electrónico puede probar un nuevo diseño y detener la prueba en cuanto la ventaja de una versión supera un umbral de evidencia definido de antemano, en lugar de esperar a reunir los datos de una semana completa.

La prueba secuencial de razón de verosimilitudes (SPRT), desarrollada por Abraham Wald durante la Segunda Guerra Mundial, es la prueba estadística más eficiente para decidir entre dos hipótesis, una propiedad que puede demostrarse: requiere el menor número de observaciones en promedio para un nivel de precisión dado. Su principio central, acumular evidencia hasta cruzar un umbral de decisión, ha demostrado ser fundamental en muchos campos.

• Wald (1945) formuló por primera vez la SPRT para comprobar municiones y mostró que minimiza el número promedio de observaciones necesarias para tomar una decisión en comparación con cualquier prueba de muestra fija con las mismas probabilidades de error. [1]
• Las empresas tecnológicas actuales usan métodos secuenciales para realizar pruebas A/B a gran escala. En lugar de consultar los resultados sin las precauciones estadísticas necesarias, estos métodos utilizan «valores p siempre válidos» o límites de detención definidos de antemano que permiten un seguimiento continuo y una detención anticipada válida. Esto acelera la innovación al reducir el tiempo necesario para obtener una respuesta fiable. [2] (2017)
• La investigación en neurociencia sugiere que el cerebro toma decisiones perceptivas de forma similar. Las neuronas parecen acumular evidencia sensorial a lo largo del tiempo, y la decisión se desencadena cuando esta señal alcanza un umbral crítico, siguiendo la misma lógica que el análisis secuencial. [3] (2007)

Aunque son eficientes, las pruebas secuenciales tienen limitaciones. Primero, no conoces de antemano el tamaño final de la muestra, lo que puede complicar la planificación y el presupuesto de los experimentos. Segundo, la SPRT clásica está diseñada para elegir entre dos alternativas (A frente a B), y su aplicación se vuelve más compleja cuando hay más opciones. Por último, la duración de la prueba puede ser muy sensible a los primeros datos que llegan: una serie de datos iniciales ambiguos puede, en ocasiones, alargarla innecesariamente.