Calibración de pronósticos

La calibración de pronósticos mide si la confianza que expresas se ajusta a la realidad a lo largo del tiempo. Si dices que algo tiene un 70 % de probabilidad de ocurrir, debería suceder aproximadamente el 70 % de las veces que haces esa predicción. Piensa en el mando de la ducha: si lo ajustas para que salga agua tibia, el agua debería sentirse tibia, no helada ni hirviendo. Cuando las predicciones están bien calibradas, puedes confiar en las cifras para orientar tus decisiones, desde llevar un paraguas hasta invertir recursos. Comprueba esto: Registra con qué frecuencia se cumplen las predicciones en las que tienes un 80 % de confianza.

La calibración permite distinguir entre quienes hacen pronósticos con demasiada confianza y quienes los hacen con poca confianza. Si una persona bien calibrada dice que algo tiene un 30 % de probabilidad de ocurrir, ese suceso ocurrirá aproximadamente el 30 % de las veces en un conjunto amplio de predicciones similares. No se trata de acertar o fallar en un pronóstico concreto, sino de que las probabilidades y los resultados coincidan a largo plazo.

Esto importa porque los pronósticos mal calibrados llevan a tomar decisiones equivocadas. Si un médico dice de forma habitual que «hay un 10 % de probabilidad de complicaciones», pero estas ocurren el 40 % de las veces, los pacientes no pueden tomar decisiones informadas. Del mismo modo, si un gerente estima una «probabilidad del 90 % de entregar a tiempo», pero solo lo consigue en el 60 % de los casos, las personas implicadas aprenden a ignorar por completo esas cifras.

La buena noticia es que puedes medir y mejorar la calibración. Si registras tu nivel de confianza en cada predicción —10 %, 50 %, 90 %— y haces un seguimiento de los resultados, obtienes tu propia curva de calibración. Quienes tienen demasiada confianza ven que sus predicciones del 70 % solo se cumplen el 40 % de las veces; quienes tienen poca confianza ven que se cumplen el 90 % de las veces. Darse cuenta es el primer paso para ajustar la confianza a los resultados.

La investigación sobre calibración revela un patrón llamativo: la experiencia a veces se relaciona con dificultades para calibrar los pronósticos; los estudios muestran resultados diversos según el ámbito. Esta paradoja entre calibración y exceso de confianza aparece en distintos campos: los analistas de inteligencia suelen sobreestimar la certeza de sus juicios en comparación con su historial real de aciertos [1]. El entrenamiento puede ayudar: técnicas como recibir información sobre los resultados y considerar razones por las que las predicciones podrían ser erróneas reducen el exceso de confianza y mejoran la correspondencia entre las probabilidades expresadas y las frecuencias observadas [1].

Hallazgos clave:

• Tetlock (2015): Los superpronosticadores —personas comunes que superaban de forma constante a los analistas de inteligencia— lograron una mejor calibración mediante hábitos concretos, como actualizar sus predicciones cuando llegaba información nueva y llevar un registro explícito de la precisión numérica a lo largo del tiempo [1].

• Lichtenstein y Fischhoff (1977): Demostraron que las personas presentan errores sistemáticos de calibración en distintos ámbitos del conocimiento y que el exceso de confianza aumenta con la dificultad de la tarea. Sus protocolos experimentales establecieron las curvas de calibración como método estándar de medición [2].

La calibración por sí sola no lo refleja todo. Quien siempre pronostica una «probabilidad del 50 %» está perfectamente calibrado, pero sus pronósticos no resultan útiles: todas sus predicciones expresan la misma incertidumbre sin comprometerse. La resolución, es decir, la capacidad de distinguir entre sucesos probables e improbables, también importa. Los mejores pronosticadores tienen tanto calibración como resolución. Además, la calibración presupone categorías de referencia estables: si el mundo cambia drásticamente, como durante una pandemia, la calibración pasada puede dejar de servir para el futuro si no se vuelve a ajustar. Por último, los sucesos poco frecuentes plantean dificultades de medición: hacen falta cientos de predicciones de «riesgo del 1 %» para comprobar si el 1 % es realmente la cifra correcta.