Problema de las comparaciones múltiples

Cada vez que buscas una relación mediante una prueba, hay una pequeña probabilidad de que encuentres una que en realidad no existe: un falso positivo. Cuando haces muchas pruebas con los mismos datos, esas pequeñas probabilidades se acumulan. Con 20 pruebas y un umbral de significación del 5 por ciento, cabe esperar alrededor de un falso positivo, aunque no exista ningún efecto real. Esto ocurre en muchos ámbitos: al hacer pruebas A/B de decenas de cambios en un sitio web a la vez, analizar miles de genes en busca de vínculos con enfermedades o explorar encuestas sobre alimentación para encontrar correlaciones.

Fíjate en esto: cuando veas que alguien presenta muchos hallazgos a la vez, pregúntate si hizo ajustes por las pruebas múltiples.

Cómo se acumulan los falsos positivos

Piensa en cada prueba estadística como un boleto de lotería con una probabilidad del 5 por ciento de dar un falso positivo cuando usas los umbrales de significación habituales. Una sola prueba supone un riesgo del 5 por ciento. Pero si haces 20 pruebas independientes, la probabilidad de obtener al menos un falso positivo sube a cerca del 64 por ciento. Si haces 100 pruebas, es prácticamente seguro que encontrarás algo «significativo» por puro azar. Esto ocurre porque las tasas de error de las pruebas se acumulan: cada nueva comparación crea otra oportunidad para que el ruido aleatorio parezca un patrón real.

Dónde aparece este problema

Pruebas A/B: Un sitio de comercio electrónico prueba a la vez 15 variantes de colores de botones, titulares y diseños de página. Aunque ninguna afecte realmente a las ventas, los cálculos indican que hay una probabilidad del 54 por ciento de que al menos una parezca «estadísticamente significativa». Esto lleva a los equipos a desperdiciar recursos al aplicar cambios que parecían prometedores en las pruebas, pero que en realidad no funcionan.

Investigación médica: Los estudios de asociación del genoma completo analizan más de un millón de variantes genéticas en busca de vínculos con enfermedades. Sin ajustes, presentarían decenas de miles de asociaciones falsas. Para combatir este problema, este campo utiliza ajustes estrictos, como el método de Bonferroni o el control de la tasa de falsos descubrimientos.

Ciencia de la nutrición: Al analizar datos de encuestas sobre alimentación, los investigadores pueden comparar cientos de alimentos con decenas de resultados de salud. El célebre resultado de xkcd «las grageas de gelatina verdes causan acné» lo ilustra: prueba 20 colores y uno mostrará una relación por azar. Por eso ves titulares contradictorios sobre nutrición: una semana el café causa cáncer y la siguiente lo previene.

Soluciones prácticas

Ajusta tu umbral: La corrección de Bonferroni divide tu umbral de significación entre el número de pruebas. Con 20 comparaciones, en lugar de usar el 5 por ciento, exigirías un umbral de significación del 0,25 por ciento. Es un ajuste conservador, pero sencillo.

Controla la tasa de falsos descubrimientos: En vez de intentar eliminar todos los falsos positivos, el procedimiento de Benjamini-Hochberg limita la proporción de falsos descubrimientos entre tus hallazgos. Es menos conservador y se usa mucho en la investigación exploratoria.

Planifica menos pruebas: Antes de mirar los datos, decide qué comparaciones son las más importantes. Registra de antemano tu plan de análisis para no seguir buscando hasta encontrar algo. En las pruebas A/B, haz una prueba principal y un pequeño número de pruebas secundarias planificadas, en vez de probar todo lo que se te ocurra.

El problema de las comparaciones múltiples describe cómo la probabilidad de cometer al menos un error de tipo I (falso positivo) aumenta con el número de pruebas de hipótesis que se realizan. Cuando se hacen m pruebas independientes con un nivel de significación alfa, la tasa de error familiar (la probabilidad de obtener al menos un falso positivo en el conjunto de pruebas) es igual a 1 - (1 - alfa)^m, que se acerca a 1 a medida que m aumenta. Esto significa que, si se hacen suficientes pruebas sin aplicar ajustes, los falsos descubrimientos se vuelven inevitables.

• Ioannidis (2005): Demostró que, en la mayoría de los diseños y contextos de estudio, es más probable que un hallazgo de investigación sea falso que verdadero. La flexibilidad en el diseño, las definiciones, los resultados evaluados y las formas de análisis contribuye a un sesgo que aumenta los falsos positivos. [1]

• Benjamini y Hochberg (1995): Introdujeron la tasa de falsos descubrimientos (FDR, por sus siglas en inglés) como una alternativa menos conservadora al control de la tasa de error familiar. Este enfoque permite a los investigadores identificar posibles resultados positivos para estudiarlos después, mientras controlan la proporción esperada de falsos descubrimientos. [2]

• Miller (1981): Estableció las bases teóricas de la inferencia estadística simultánea y documentó cómo los procedimientos de comparación múltiple surgieron del trabajo de Tukey, Scheffe y otros investigadores en la década de 1950 para abordar el aumento de las tasas de error de tipo I. [3]

• Noble (2009): Aclaró que, cuando se hacen pruebas a gran escala —por ejemplo, en genómica, con millones de comparaciones—, el control de la tasa de error familiar puede ser demasiado estricto. Por eso, el control de la tasa de falsos descubrimientos es el enfoque preferido para los estudios exploratorios cuyos hallazgos pueden volver a ponerse a prueba. [4]

No todas las situaciones requieren ajustes por pruebas múltiples. Si tienes evidencia previa sólida a favor de hipótesis concretas antes de recopilar los datos, puedes tratarlas como pruebas confirmatorias sin aplicar ajustes. El problema afecta sobre todo a los análisis exploratorios, en los que buscas patrones sin expectativas definidas de antemano.

Algunos ajustes son demasiado conservadores. El método de Bonferroni puede hacer que sea casi imposible detectar efectos reales pero pequeños, especialmente cuando se hacen cientos de pruebas. Esto lleva a errores de tipo II (falsos negativos): pasar por alto descubrimientos reales. Los métodos de control de la tasa de falsos descubrimientos, como el de Benjamini-Hochberg, ofrecen un punto intermedio práctico.

En la práctica, las pruebas rara vez son independientes. La mayoría de los conjuntos de datos del mundo real contienen variables correlacionadas, algo que las fórmulas sencillas no reflejan por completo. Aun así, los ajustes que suponen independencia suelen ser conservadores: pueden corregir en exceso, pero no se quedan cortos.