Problema de la inspección repetida

El «problema de la inspección repetida» consiste en revisar una y otra vez los resultados de un experimento y detenerlo antes de tiempo en cuanto parecen prometedores. Esto aumenta mucho la probabilidad de que el azar te engañe y te haga confundir una fluctuación pasajera con una mejora real. Por ejemplo, si revisas cada hora el rendimiento de una nueva función de una aplicación, podrías detectar un aumento breve y aleatorio de la interacción de los usuarios y concluir por error que la función es un gran éxito.

Prueba esto: Antes de empezar una prueba, decide cuánto durará o qué tamaño tendrá la muestra y respeta lo acordado.

El problema de la inspección repetida ocurre porque, cada vez que revisas si tus resultados tienen significación estadística, realizas una nueva prueba estadística que no habías previsto. Cada prueba tiene una pequeña probabilidad de producir un falso positivo: mostrar un efecto que en realidad no existe. Cuando revisas los resultados varias veces, esas pequeñas probabilidades se acumulan y hacen mucho más probable que acabes viendo un resultado «significativo» por puro azar.

Imagina que lanzas una moneda. Si la lanzaras 100 veces, no te sorprendería ver una breve racha de tres caras seguidas. Detener el experimento durante esa racha de suerte es justo lo que ocurre con este problema: confundes una variación aleatoria normal con un patrón relevante.

En una empresa, un equipo de marketing podría revisar cada día el rendimiento de sus anuncios. Tal vez vea que el anuncio A va «ganando» el martes y le asigne todo el presupuesto, para luego descubrir que el anuncio B habría rendido mejor durante la semana completa. El resultado inicial era solo ruido.

Del mismo modo, en los ensayos clínicos, revisar los resultados antes de tiempo podría llevar a los investigadores a concluir que un nuevo medicamento funciona cuando no es así, basándose en una concentración temprana de resultados positivos. Para evitarlo, los ensayos siguen protocolos estrictos que prohíben los análisis intermedios o utilizan métodos estadísticos especiales que los tienen en cuenta, porque hay mucho en juego desde el punto de vista ético.

El problema de la inspección repetida, también conocido como «parada opcional», aumenta la tasa de errores de tipo I (falsos positivos) al permitir que el ruido aleatorio se interprete como un efecto real. Cada revisión actúa como una prueba estadística sin corregir, lo que hace que se acumulen las probabilidades de obtener un falso positivo.

• Revisar continuamente los resultados puede aumentar drásticamente una tasa nominal de falsos positivos del 5 % hasta más del 15 % tras solo diez revisiones, una forma de p-hacking. [1] [3] (2023)
• Para permitir la interrupción anticipada sin este error, los «métodos secuenciales por grupos» planifican de antemano un número reducido de análisis intermedios con umbrales de significación ajustados para mantener la tasa global de error. [2] (2000)
• Para la mayoría de quienes realizan estas pruebas, la solución más sencilla es fijar de antemano un tamaño de muestra o una duración y comprometerse a respetarlos, o utilizar una plataforma que incorpore métodos de pruebas secuenciales que corrijan este problema. [4] (s. f.)

El problema de la inspección repetida preocupa principalmente en la estadística frecuentista, el marco que utilizan la mayoría de las pruebas A/B estándar. La estadística bayesiana lo aborda de otra manera. Los métodos bayesianos pueden ser más robustos frente a la parada opcional porque actualizan la probabilidad de una hipótesis a medida que llegan nuevos datos. Sin embargo, esto no te da «carta blanca» para revisar los resultados sin criterio: requiere un modelo bien definido, probabilidades previas adecuadas y reglas de decisión fijadas de antemano, como detener la prueba solo cuando la evidencia (por ejemplo, un factor de Bayes) alcance cierto umbral. [5] En casos poco frecuentes dentro del enfoque frecuentista, cuando un resultado temprano es abrumadoramente positivo o negativo, detener la prueba puede ser una necesidad práctica o ética, pero esto exige evidencia mucho más sólida que la requerida por un umbral de significación convencional.