Significación estadística y valor p

Es común creer que la «significación estadística» indica que un efecto es grande o importante. La significación estadística no mide el tamaño de un efecto ni su importancia práctica; solo indica lo improbable que sería un resultado observado si se debiera únicamente al azar. Piensa en una alarma de humo: detecta de forma fiable que algo está pasando (no es solo un fallo del sensor), pero no puede decirte si se ha quemado una tostada o si la casa está en llamas. Por ejemplo, un sitio web podría encontrar un resultado «significativo»: cambiar el color de un botón aumenta los clics un diminuto 0,01 %, un efecto demasiado pequeño para importar en la práctica.

Pregúntate: «¿Este resultado es estadísticamente significativo y también tiene importancia práctica?».

La significación estadística es una herramienta para distinguir la señal del ruido. Parte de una suposición inicial llamada «hipótesis nula»: la idea de que no hay ningún efecto ni diferencia real. Por ejemplo, que un medicamento nuevo no tiene efecto o que un nuevo diseño de un sitio web no cambia el número de usuarios que se registran.

El valor p es la probabilidad de observar tus datos (u otros aún más extremos) si esa hipótesis nula fuera cierta. Un valor p pequeño (normalmente inferior a 0,05, o el 5 %) sugiere que el resultado observado sería muy sorprendente si realmente no hubiera ningún efecto. Esto te lleva a rechazar la idea de que «no hay efecto» y a concluir que el resultado es «estadísticamente significativo»: probablemente no sea una simple casualidad.

Piensa en una prueba A/B de un correo de marketing. La hipótesis nula es que dos asuntos distintos dan los mismos resultados. Si observas una gran diferencia en las tasas de apertura y obtienes un valor p de 0,03, significa que solo habría un 3 % de probabilidad de observar una diferencia de ese tamaño si los asuntos en realidad dieran los mismos resultados. Puedes tener una confianza razonable en que el nuevo asunto tuvo un efecto real.

Sin embargo, esta herramienta tiene límites. Un estudio con miles de personas podría encontrar que una nueva pastilla para adelgazar produce una pérdida de peso estadísticamente significativa, con un valor p de 0,01. Pero si la pérdida de peso promedio es de solo media libra, el resultado no tiene utilidad práctica, pese a su significación estadística. El tamaño del efecto importa tanto como las estadísticas.

El valor p se desarrolló en la década de 1920 como una forma de evaluar la fuerza de la evidencia contra una hipótesis nula en un solo experimento. Sin embargo, los estadísticos han criticado duramente su uso generalizado como un criterio simple y tajante para determinar qué es verdadero. Proponen una visión más completa de la evidencia que incluya el tamaño del efecto, los intervalos de confianza y el conocimiento previo.

• La Asociación Estadounidense de Estadística (ASA) publicó una declaración formal para aclarar que los valores p no miden la probabilidad de que la hipótesis estudiada sea cierta ni la probabilidad de que los datos se hayan producido únicamente por azar [1]. (2016)
• Regina Nuzzo destacó en Nature que los malentendidos y el uso incorrecto de los valores p contribuyen a la crisis de replicación en la ciencia. Esto lleva a los investigadores a perseguir la significación estadística por encima de hallazgos sólidos y relevantes [2]. (2014)
• Históricamente, el concepto surgió del trabajo de R. A. Fisher como un indicador informal de la evidencia. Más tarde se combinó con el marco de pruebas de hipótesis de Neyman-Pearson, dando lugar a la regla rígida de decisión (por ejemplo, p < 0,05) que hoy es habitual y que a menudo se usa sin contexto [3]. (2001)

El concepto de significación estadística se usa incorrectamente con frecuencia. Entre sus principales limitaciones están:

• Manipulación del valor p (p-hacking): Los investigadores pueden realizar muchas pruebas, de forma consciente o inconsciente, e informar solo de las que quedan por debajo del umbral de 0,05, lo que genera resultados falsos positivos.
• Ignorar el tamaño del efecto: Un resultado puede ser estadísticamente significativo y carecer de importancia práctica si el efecto es muy pequeño.
• El efecto acantilado: Tratar p = 0,049 como un éxito y p = 0,051 como un fracaso crea una falsa dicotomía. La evidencia es casi idéntica en ambos casos.
• Interpretación errónea: Un valor p no es la probabilidad de que la hipótesis nula sea cierta. Es una afirmación sobre los datos, suponiendo que la hipótesis nula sea cierta.