Puntuación de Brier

La puntuación de Brier es un sistema para evaluar predicciones expresadas como probabilidades. Funciona como una penalización: cuanto más baja, mejor, y recompensa a quienes aciertan y muestran confianza en su pronóstico. Quien predice con mucha confianza algo que ocurre recibe una penalización pequeña, pero recibe una enorme si predice con mucha confianza algo que no ocurre. Por ejemplo, si llueve, una aplicación del tiempo que había previsto un 90 % de probabilidad de lluvia obtiene una mejor puntuación que otra que solo había previsto un 60 %. Con el tiempo, el promedio de estas puntuaciones revela quién hace los pronósticos más precisos y mejor calibrados.

Prueba esto: ¿Qué tan bien calibradas están las estimaciones de probabilidad que escucho en las noticias o en el trabajo?

La puntuación de Brier permite evaluar con precisión los pronósticos probabilísticos mediante el error cuadrático medio entre las predicciones y los resultados reales. Este método recompensa la precisión y la calibración: hasta qué punto las probabilidades que alguien pronostica coinciden con la realidad a lo largo del tiempo.

Calcularla para un solo pronóstico es sencillo. Primero, se representa el resultado con un 1 si el suceso ocurre y con un 0 si no ocurre. Después, se calcula la diferencia entre la probabilidad pronosticada y el resultado real, y se eleva esa diferencia al cuadrado. La puntuación perfecta es 0, como cuando se predice una probabilidad del 100 % para un suceso que ocurre. La peor puntuación posible es 1, como cuando se predice una probabilidad del 100 % para un suceso que no ocurre.

Veamos un caso. Si una persona responsable de un proyecto predice un 80 % de probabilidad de éxito y el proyecto tiene éxito, el resultado se representa con un 1. La diferencia entre el pronóstico, 0,8, y el resultado, 1, es menos 0,2. Al elevar esa diferencia al cuadrado, la puntuación de Brier es 0,04: una penalización pequeña. Si el proyecto hubiera fracasado, el resultado sería 0 y la diferencia sería 0,8. Al elevarla al cuadrado, la puntuación sería 0,64: una penalización mucho mayor por equivocarse con tanta confianza.

Para evaluar a alguien que hace pronósticos, no te fijas en una sola predicción de forma aislada. Calculas el promedio de sus puntuaciones de Brier en muchos pronósticos diferentes. Quien mantiene un promedio bajo es más fiable que quien tiene uno alto. Este método se usa en ámbitos que van desde la evaluación de modelos de diagnóstico médico hasta la valoración de analistas de riesgo geopolítico.

Por ejemplo, un hospital podría usar la puntuación de Brier para comparar dos sistemas de inteligencia artificial que predicen la probabilidad de enfermedad. Al registrar sus puntuaciones en miles de pacientes, el hospital puede determinar qué sistema ofrece probabilidades más fiables a sus médicos, lo que permite tomar mejores decisiones de tratamiento.

La puntuación de Brier para un único suceso binario se define formalmente como (p − o)², donde «p» es la probabilidad pronosticada y «o» es el resultado (1 si el suceso ocurrió y 0 en caso contrario). Es un tipo de «regla de puntuación propia», una clase de métricas diseñadas para incentivar que las probabilidades se comuniquen con honestidad y precisión [1]. Las reglas de puntuación propias son fundamentales para la evaluación moderna de pronósticos por varias razones:

• Garantizan que quien hace un pronóstico solo alcance su mejor puntuación esperada posible al expresar lo que realmente cree sobre la probabilidad de un suceso. Así evitan que ajuste sus respuestas por estrategia o para cubrirse ante distintos resultados [3]. (2007)
• Ofrecen un método estandarizado para comparar el desempeño de distintos modelos o personas que hacen pronósticos sobre el mismo conjunto de problemas, como ocurre en ámbitos que van desde la meteorología hasta los torneos de pronósticos de expertos [2]. (2015)

La puntuación de Brier no siempre resulta intuitiva: una puntuación de 0,15 dice poco por sí sola y resulta más útil para comparar a quienes hacen pronósticos o seguir su desempeño a lo largo del tiempo. Una limitación clave es su sensibilidad a la tasa base del suceso, también llamada «climatología». Cuando los sucesos son muy raros o muy comunes, alguien puede obtener una puntuación aparentemente buena, es decir, baja, simplemente pronosticando siempre la tasa base, por ejemplo, un 1 % de probabilidad. Esto puede reflejar poca habilidad real para hacer pronósticos [4]. Por eso, la puntuación de Brier aporta más información cuando comparas pronósticos sobre el mismo conjunto de sucesos, ya que sus puntuaciones compartirán el mismo componente de tasa base [5]. Los análisis más avanzados suelen descomponer la puntuación en componentes de fiabilidad, resolución e incertidumbre para distinguir mejor la habilidad de quien hace el pronóstico [4].