Análisis de potencia y tamaño muestral

El análisis de potencia te ayuda a calcular el tamaño mínimo de muestra que necesitas para detectar un efecto real en un estudio. Si tu estudio fuera una red de pesca, este análisis te diría qué tan cerrada debe ser la malla para atrapar el pez que buscas; si las aberturas son demasiado grandes, el pez se escapa.

Por ejemplo, si tu equipo prueba un sitio web nuevo con muy pocos usuarios, un diseño que realmente es mejor podría no mostrar ningún efecto simplemente porque la muestra era demasiado pequeña para detectar el cambio. Esto se llama un estudio con potencia insuficiente y lleva a perder tiempo y oportunidades.

Pregunta esto: «¿Hemos hecho un análisis de potencia para asegurarnos de que la muestra sea lo bastante grande?»

El análisis de potencia busca un equilibrio entre cuatro componentes clave: el tamaño de la muestra, el tamaño del efecto, el nivel de significación y la potencia estadística. Ajustar estos factores te ayuda a diseñar un experimento sólido.

Para realizar el análisis, defines la potencia que deseas, un nivel de significación y el tamaño de efecto más pequeño que te interesa detectar. El cálculo te da el tamaño mínimo de muestra necesario.

El nivel de significación controla el riesgo de un «falso positivo»: concluir que existe un efecto cuando no lo hay. El análisis de potencia permite gestionar el riesgo de un «falso negativo»: concluir que no hay efecto cuando sí existe.

Un objetivo habitual es alcanzar una potencia del 80 por ciento. Esto significa que tienes un 80 por ciento de probabilidad de detectar el tamaño de efecto más pequeño que te propusiste detectar, siempre que ese efecto exista y que los demás supuestos del estudio sean correctos.

Por ejemplo, una empresa farmacéutica que prueba un medicamento nuevo necesita detectar un beneficio pequeño, pero capaz de salvar vidas. El análisis de potencia podría indicar que necesita miles de pacientes para evitar que abandone antes de tiempo un medicamento útil.

Del mismo modo, un distrito escolar puede usarlo para determinar cuántas aulas necesita para evaluar de forma justa un nuevo método de enseñanza. Así se asegura de no pasar por alto una mejora modesta, pero importante, en las puntuaciones de los exámenes.

El análisis de potencia estadística se formalizó para combatir el problema generalizado de los estudios con potencia insuficiente, uno de los principales factores que contribuyen a la crisis de replicación en la ciencia. Los estudios con una potencia adecuada son fundamentales para diseñar investigaciones éticas y eficientes, ya que aumentan la probabilidad de que los hallazgos reflejen efectos reales.

• El libro fundamental de Jacob Cohen estableció los marcos matemáticos del análisis de potencia e introdujo convenciones para clasificar los tamaños del efecto como pequeños, medianos y grandes, que siguen usándose ampliamente como referencia. [1] (1988)
• Investigaciones posteriores destacaron cómo la baja potencia estadística contribuye a que la literatura científica sea poco fiable, con muchos hallazgos publicados que pueden ser falsos y difíciles de replicar. [2, 3] [2] (2005)
• La práctica actual de la investigación pone énfasis en realizar un análisis de potencia a priori (antes de recopilar los datos) y en justificar de forma completa el tamaño de la muestra. Así se asegura que el estudio tenga la capacidad estadística necesaria para responder a su pregunta principal de investigación. [4, 5] [3] (2013)

El análisis de potencia es una herramienta de planificación, no una garantía de éxito. Su principal limitación sigue el principio de «si los datos de entrada son malos, el resultado también lo será»: el tamaño de muestra calculado es muy sensible a la estimación del tamaño del efecto. Esta suele ser una conjetura fundamentada en investigaciones previas que podrían tener fallos. Además, el análisis de potencia solo aborda el riesgo de falsos negativos; no te protege de otros problemas de investigación, como mediciones deficientes, un muestreo sesgado o variables de confusión, que pueden invalidar los resultados sin importar el tamaño de la muestra.