Media ponderada por historial de aciertos

La media ponderada según el historial de aciertos consiste en dar más peso a las predicciones de personas o fuentes que han acertado en el pasado y menos a las que no. Es como elegir a un guía de senderismo porque ya ha dirigido excursiones con éxito, en lugar de escoger a alguien al azar. Mides la precisión pasada con sistemas de puntuación, donde una puntuación más baja es mejor, y usas esos resultados para decidir cuánto peso dar a cada predicción al combinarlas. Por ejemplo, si un analista predice los resultados con más precisión que los demás de forma constante, su pronóstico debería contar más en tu decisión final.

Prueba esto: Cuando recibas predicciones contradictorias, pregunta por el historial de aciertos de cada fuente antes de calcular la media.

Para calcular una media ponderada según el historial de aciertos, primero mides la precisión pasada de cada persona que hace pronósticos. Después, usas esas medidas para decidir cuánto peso dar a su predicción actual. El proceso empieza con una regla de puntuación que cuantifica cuánto se acercaron las predicciones anteriores a los resultados reales. Las reglas habituales miden la diferencia entre las probabilidades previstas y lo que ocurrió: cuanto menor sea la diferencia, mayor será la precisión. Una vez que tienes las puntuaciones de precisión de cada persona, las conviertes en pesos. Quienes hacen mejores pronósticos reciben más peso; quienes hacen peores pronósticos reciben menos. Por último, multiplicas la predicción actual de cada persona por su peso y sumas los resultados.

Este enfoque supera de forma constante a la media simple porque aprovecha las diferencias estables entre las personas en su capacidad para hacer pronósticos. Las investigaciones de torneos de pronósticos geopolíticos muestran que el desempeño pasado predice la precisión futura, incluso al tener en cuenta la dificultad de las preguntas y el momento en que se hicieron las predicciones. Los beneficios aparecen cuando tienes suficientes predicciones con resultados conocidos por persona para distinguir la habilidad de la suerte: normalmente, entre veinte y cuarenta o más. Antes de llegar a ese punto, los métodos más sencillos funcionan igual de bien. Curiosamente, la cantidad de pronósticos que hace alguien, es decir, la frecuencia con la que actualiza sus creencias, también predice su precisión, sobre todo al principio.

La técnica también sirve fuera de los pronósticos formales. Los equipos de inversión pueden dar más o menos peso a sus analistas según su historial de selección de acciones. Los equipos de producto pueden priorizar las funciones que sugieren los diseñadores cuyas decisiones anteriores impulsaron la participación de los usuarios. Los equipos médicos podrían dar más peso a los diagnósticos de especialistas con una precisión documentada en casos similares. Incluso quienes siguen las noticias pueden dar mentalmente más peso a unas fuentes que a otras según su historial de información fiable o sensacionalista.

Ponderar según el historial de aciertos es distinto de extremizar, que consiste en acercar las probabilidades agregadas a la certeza, hacia el cero o el cien por ciento. Ambos métodos buscan mejorar la precisión del conjunto, pero funcionan de manera diferente: la ponderación cambia quién tiene más influencia, mientras que la extremización ajusta la probabilidad combinada final para tener en cuenta la información que comparten quienes hacen los pronósticos. Los sistemas sofisticados suelen usar ambos métodos: primero ponderan según el historial de aciertos y después extremizan el resultado ponderado.

La media ponderada según el historial de aciertos se basa en el hallazgo de que la capacidad para hacer pronósticos es un rasgo relativamente estable que puedes medir y aprovechar para combinar mejor las predicciones. La puntuación de Brier, una regla de puntuación estrictamente propia desarrollada en 1950, mide el error cuadrático medio entre las probabilidades previstas y los resultados reales. Las puntuaciones más bajas indican mayor precisión e incentivan que comuniques tus probabilidades con sinceridad.

• Satopää et al. (2014): Encontraron que extremizar los pronósticos agregados hacia probabilidades de mayor certeza mejora la precisión cuando los expertos tienen acceso a información distinta. Los factores óptimos de extremización se obtienen a partir de datos históricos.[1]
• Mellers et al. (2015): Demostraron que las personas con mejores resultados, identificadas por su desempeño pasado (superpronosticadores), superaban de forma constante a las demás. Además, la agregación ponderada de sus estimaciones mejoraba significativamente la precisión del grupo y conservaba los beneficios de la sabiduría de las multitudes.[2]
• El manual de pronósticos de OTexts señala que, aunque es muy difícil superar la media simple, los enfoques ponderados pueden aportar mejoras cuando tienes información fiable sobre la capacidad de cada persona para hacer pronósticos.[3]

Sin embargo, los modelos jerárquicos más sencillos funcionaron casi igual de bien, con un coste computacional mucho menor. La idea clave es que la mayoría de los beneficios provienen de contar con alguna medida válida de la capacidad, más que de llevar la sofisticación del método al máximo.

La media ponderada según el historial de aciertos tiene un problema de arranque en frío: necesitas datos sobre el desempeño pasado para asignar pesos, pero quienes empiezan a hacer pronósticos no tienen historial. Una solución es usar diferencias individuales, como la inteligencia fluida, el razonamiento numérico y la apertura mental activa, como indicadores indirectos hasta acumular datos de desempeño. El método también supone que la capacidad pasada predice el desempeño futuro. Esto puede dejar de cumplirse si los ámbitos cambian drásticamente o si cambia la tarea. Las muestras muy pequeñas, con menos de 10 a 20 pronósticos por persona cuyos resultados ya se conocen, generan estimaciones de capacidad con mucho ruido que pueden empeorar la agregación en lugar de mejorarla. También se debate si las mediciones complejas de capacidad basadas en la teoría de respuesta al ítem (TRI) aportan beneficios relevantes en la práctica frente a las medias de precisión más sencillas, especialmente en aplicaciones reales donde importa la eficiencia computacional.