Puntuación de Brier

La puntuación de Brier mide lo buenas que son tus predicciones de probabilidad al comparar lo que dijiste que ocurriría con lo que ocurrió. Piensa en ella como un medidor de sinceridad para tus predicciones: si dices que algo tiene un 90 por ciento de probabilidad y aciertas, recibes una recompensa; pero, si fallas, la penalización es mucho mayor que si hubieras dicho solo un 60 por ciento. Por eso, dos personas pueden predecir una probabilidad de lluvia del 70 por ciento y obtener puntuaciones idénticas, aunque una haya investigado a fondo y la otra haya elegido al azar: la puntuación solo evalúa la probabilidad final que eligieron, sin tener en cuenta cuánto reflexionaron.

Prueba esto: recuerda que dos personas pueden elegir el mismo número y obtener puntuaciones idénticas, aunque una investigue durante horas y la otra elija al azar; las matemáticas solo tienen en cuenta la probabilidad final.

Para calcular una puntuación de Brier, tomas la diferencia entre la probabilidad que predijiste y lo que ocurrió, la elevas al cuadrado y calculas el promedio de todas tus predicciones. El resultado se representa con un 1 si el suceso ocurrió y con un 0 si no ocurrió. Una puntuación perfecta es 0: cada predicción coincidió exactamente con la realidad. Una puntuación pésima es 1: tuviste la máxima confianza y te equivocaste por completo en todas las ocasiones. La mayoría de los pronósticos reales quedan entre ambos extremos.

Si dices que la probabilidad es del 95 por ciento y te equivocas, tu penalización es de 0,9025. Pero, si hubieras sido más prudente y hubieras dicho un 55 por ciento, al equivocarte tu penalización sería de solo 0,3025. Este diseño premia deliberadamente la incertidumbre bien calibrada: tener un nivel de confianza adecuado cuando cuentas con buenas pruebas y actuar con la cautela adecuada cuando no las tienes.

Piensa en un diagnóstico médico: un médico predice que un paciente tiene un 80 por ciento de probabilidad de tener faringitis estreptocócica. Si la prueba da positivo, la puntuación de Brier de esa predicción es de 0,04. Si da negativo, la penalización es de 0,64. Ahora imagina que el médico hubiera dicho un 40 por ciento: seguiría inclinándose por la faringitis estreptocócica, pero con más incertidumbre. Un diagnóstico equivocado tendría ahora una penalización de solo 0,16. El sistema no tiene en cuenta que el médico haya pedido pruebas adicionales; solo tiene en cuenta que la probabilidad final expresaba demasiada confianza dado el resultado.

Esto revela una idea clave: las puntuaciones de Brier miden la calibración, no la recopilación de información. Dos analistas pueden predecir una probabilidad del 65 por ciento de que un candidato gane unas elecciones y recibir puntuaciones idénticas, aunque uno haya pasado meses analizando encuestas y el otro haya lanzado una moneda al aire. Esto no es un defecto: es precisamente lo que hace que las puntuaciones de Brier sean útiles para comparar la calidad de los pronósticos entre distintos ámbitos y métodos.

Las puntuaciones de Brier, que Glenn Wilson Brier introdujo en 1950, miden el error cuadrático medio de las predicciones probabilísticas y se usan ampliamente para evaluar la calibración de los pronósticos en ámbitos que van desde la meteorología hasta el aprendizaje automático.

• Brier (1950): Introdujo esta regla de puntuación para evaluar a quienes elaboraban pronósticos meteorológicos [1].

Glosario: Calibración significa que las probabilidades que expresas coinciden con las frecuencias observadas a lo largo del tiempo: aciertas el 80 % de las veces cuando dices un 80 %. Una regla de puntuación propia significa que no puedes mejorar tu puntuación esperada dando una probabilidad distinta de la que realmente crees.

Las puntuaciones de Brier tratan todos los errores de forma simétrica: tener demasiada confianza cuando te equivocas recibe la misma penalización que tener poca confianza cuando aciertas. Esto puede no reflejar las consecuencias reales en ámbitos donde los errores tienen costes distintos, como el diagnóstico médico, en el que los falsos negativos tienen un coste mayor que los falsos positivos. Además, las puntuaciones de Brier solo evalúan predicciones de sucesos individuales, no distribuciones de probabilidad completas con múltiples resultados posibles.