Reglas de puntuación y calibración

Es un mito que quien siempre tiene una certeza del 100 por ciento hace los pronósticos más útiles. Estas personas suelen confiar demasiado en sus predicciones y estar mal calibradas: su sensación de certeza no coincide con la realidad. Las reglas de puntuación permiten evaluar las predicciones probabilísticas y premian tanto la precisión como una evaluación honesta de la incertidumbre. La calibración mide si lo que predices con una confianza del 80 por ciento ocurre realmente el 80 por ciento de las veces. Por ejemplo, si una jefa de proyecto dice estar un 90 por ciento segura de que una tarea estará terminada el viernes, pero las tareas similares solo se terminan a tiempo el 60 por ciento de las veces, está mal calibrada.

Reflexiona sobre esto: Cuando digo que estoy «bastante seguro» de algo, ¿qué probabilidad le asignaría realmente?

Las reglas de puntuación ofrecen un proceso formal para evaluar juicios probabilísticos. El proceso empieza con un dato: un pronóstico concreto expresado con un número, como «Hay un 70 por ciento de probabilidades de que llueva mañana». Una vez que se conoce el resultado —llueve o no llueve—, se aplica una regla para asignar una puntuación según el pronóstico y lo ocurrido. Repetir este proceso a lo largo del tiempo te permite evaluar tu precisión y tu calibración en conjunto.

Un concepto clave es la regla de puntuación propia, diseñada para que solo obtengas la mejor puntuación esperada posible cuando expresas lo que realmente crees. Estas reglas desincentivan que rebajes o exageres tu confianza. La más común es la puntuación de Brier, que te penaliza según cuánto se aleje tu probabilidad del resultado real, representado con un 0 si el evento no ocurrió y un 1 si ocurrió.

La calibración es el resultado de este seguimiento a largo plazo. Una persona bien calibrada sabe qué significa en el mundo real su sensación de tener una «certeza del 70 por ciento». Si revisas las ocasiones en las que tenías una confianza del 70 por ciento, deberías encontrar que acertaste aproximadamente el 70 por ciento de las veces. Si solo acertaste el 50 por ciento, confías demasiado en tus predicciones.

En medicina, un médico bien calibrado puede decirle a un paciente: «Hay un 20 por ciento de probabilidades de que se trate de una afección grave». Esto aporta información crucial para decidir sobre pruebas que conllevan riesgos y resulta mucho más útil que un vago «es poco probable».

Del mismo modo, si quien funda una empresa emergente dice «Tenemos un 60 por ciento de probabilidades de alcanzar nuestro objetivo de ingresos este trimestre», permite que los inversores gestionen sus expectativas y sus riesgos de forma adecuada. Esto es más valioso que el optimismo ciego, porque refleja una comprensión honesta y mesurada de la incertidumbre del negocio.

Las reglas de puntuación ofrecen un mecanismo formal para evaluar y mejorar los juicios probabilísticos: convierten una práctica intuitiva y poco definida en una habilidad que se puede medir. Las investigaciones pioneras de especialistas en pronósticos y psicólogos demuestran que el seguimiento sistemático y la retroalimentación mediante reglas de puntuación propias, como la puntuación de Brier, mejoran significativamente la calibración y la precisión de una persona con el tiempo.

• Tetlock y Gardner (2015) usaron puntuaciones de Brier para identificar a «superpronosticadores». Descubrieron que recibir retroalimentación frecuente mediante estas puntuaciones era una práctica clave que les permitía superar de forma constante a analistas de inteligencia con acceso a información clasificada. [1]
• Gneiting y Raftery (2007) ofrecieron una revisión fundamental de las reglas de puntuación. Distinguieron entre calibración (la correspondencia entre los pronósticos y la realidad) y nitidez (la concentración de las distribuciones predictivas), y defendieron que un buen pronóstico debe reunir ambas cualidades. [2]
• Poses y sus colaboradores (1985) observaron que incluso los médicos experimentados solían estar mal calibrados y mostraban un exceso sistemático de confianza al estimar probabilidades diagnósticas. También encontraron que la retroalimentación formal y la formación podían mejorar esta situación. [3]

Las reglas de puntuación y la calibración son herramientas potentes, pero no se pueden aplicar en todos los casos. Su principal limitación es que requieren resultados claros, concretos y verificables. Es difícil aplicarlas a predicciones vagas («la economía mejorará») o a pronósticos tan lejanos en el futuro que obtener retroalimentación resulta poco práctico.

Además, una buena calibración por sí sola no basta. Podrías estar perfectamente calibrado si asignaras siempre la tasa base (por ejemplo, una probabilidad del 50 % para el resultado de lanzar una moneda), pero ese pronóstico no sería muy informativo ni tendría mucha «nitidez». El objetivo es combinar una buena calibración con predicciones de alta confianza (nítidas) cuando la evidencia las justifique.