Técnicas de elicitación de distribuciones a priori

La elicitación de distribuciones a priori es una forma cuidadosa de convertir lo que las personas ya saben en un punto de partida claro y comprobable para tomar decisiones. La idea de que usar distribuciones a priori introduce sesgos es un mito cuando usas métodos estructurados que hacen explícitos los supuestos y los revisan. Por ejemplo, un equipo hospitalario estima la probabilidad de que un dispositivo nuevo falle durante el primer año pidiendo a expertos un valor bajo, su mejor estimación y un valor alto, y luego documenta sus razones.

Prueba esto: Para un pronóstico que te importe, anota un valor inferior, tu mejor estimación y un valor superior, de modo que tengas un 90 por ciento de confianza en que el valor real esté entre esos límites.

Cómo funciona: entrada, proceso y salida.

• Entrada: define la cantidad exacta que quieres estimar (qué, dónde y en qué plazo), elige expertos adecuados y reúne los datos de referencia disponibles.

• Proceso: ofrece una breve formación sobre los sesgos habituales, elige cómo formular las preguntas (por ejemplo, como porcentajes de probabilidad, valores por debajo de los cuales se sitúa una proporción determinada de los resultados o frecuencias) y sigue un protocolo paso a paso: establece definiciones como referencia, recoge intervalos, profundiza en el razonamiento, ofrece comentarios y repite el proceso.

• Agregación: convierte las estimaciones de cada experto en una curva coherente que refleje sus creencias, comprueba su calibración o realismo y combina las estimaciones de los expertos, dando a todos el mismo peso o asignándoles pesos según su desempeño. Documéntalo todo.

• Salida: una distribución a priori transparente y una comprobación de sensibilidad, que muestra cómo cambian los resultados al usar otras distribuciones a priori razonables.

Ejemplos: una persona responsable de producto estima la pérdida de clientes durante el primer mes pidiendo a quienes dirigen las áreas de soporte, ventas y datos un intervalo entre los percentiles 5 y 95; una persona encargada de la planificación urbana cuantifica el riesgo de inundación a partir de estimaciones de ingenieros en un taller estructurado; un equipo de recursos humanos pronostica cuánto tardará en cubrir puestos críticos mediante una breve sesión de elicitación a distancia.

Estos métodos resultan más útiles cuando los datos son escasos o cambian, los expertos tienen perfiles diversos y el proceso incluye formación, comentarios y revisiones sucesivas. Sus variantes incluyen sesiones individuales o grupales, agregación mediante discusión hasta llegar a un consenso o mediante promedios matemáticos, y ponderación según el desempeño cuando hay datos de calibración.

Las investigaciones muestran que la elicitación estructurada mejora la transparencia y puede superar a los juicios improvisados, especialmente cuando hay pocos datos. Las decisiones sobre el protocolo (formato, comentarios y agregación) influyen mucho en la calidad.

• Garthwaite, Kadane y O’Hagan (2005): Revisan los formatos de elicitación y los métodos de ajuste; la formación y los comentarios reducen el exceso de confianza y mejoran la fiabilidad [2].
• O’Hagan et al. (2006): Los protocolos paso a paso y las definiciones claras mitigan los sesgos; dividir el problema en partes y revisar las estimaciones de forma sucesiva mejora la precisión [1].
• Cooke (1991): Las combinaciones ponderadas según el desempeño, basadas en la calibración y el grado de información que aportan las estimaciones, suelen superar a los promedios con pesos iguales [3].
• NICE TSD (2014): Las orientaciones prácticas, incluido SHELF, muestran mejoras en las decisiones sobre evaluación de tecnologías sanitarias cuando se documentan las elicitaciones y se comprueba la sensibilidad de sus resultados [5].

• Resultan poco útiles cuando hay abundantes datos de alta calidad: deja que los datos tengan más peso.
• Son vulnerables al exceso de confianza, al anclaje, al pensamiento de grupo y a una mala selección de expertos.
• La ponderación según el desempeño requiere preguntas de calibración; sin ellas, dar el mismo peso a todos puede ser más seguro.
• Los contextos de confrontación o politizados pueden distorsionar las estimaciones; recógelas de forma independiente y a ciegas.
• Los resultados dependen de los supuestos; realiza siempre análisis de sensibilidad.