Pruebas y evaluación en políticas conductuales

Las pruebas y la evaluación en políticas conductuales permiten comprobar, paso a paso, si un pequeño cambio realmente modifica una conducta en la vida real. Primero defines el resultado que buscas y la conducta concreta que quieres cambiar; después comparas distintas versiones en condiciones justas y mides lo que importa. Por ejemplo, una oficina tributaria podría comparar dos cartas de recordatorio y medir el éxito por los pagos realizados en un plazo de 30 días, en lugar de las aperturas de correos electrónicos.

Comprueba esto: Antes de redactar cualquier mensaje, escribe cuál será tu resultado principal y cómo lo medirás.

El proceso tiene tres etapas: entrada, proceso y salida. Primero, aclara el objetivo de la política, define un resultado concreto y diagnostica por qué no se está produciendo la conducta deseada. Por ejemplo, puede haber trabas, un momento poco oportuno o un malentendido.

Después, diseña variantes viables, como mensajes, opciones predeterminadas o recordatorios, y haz pruebas previas para comprobar que se entienden. Introduce un cambio mínimo para poder atribuirle los efectos observados.

Elige un diseño de evaluación: lo ideal es una prueba aleatorizada de dos versiones o, cuando no sea posible, un cuasiexperimento sólido. Define el tamaño de la muestra, cómo harás la asignación aleatoria, los criterios éticos y un periodo breve de medición.

Mide un resultado principal vinculado al objetivo y otros indicadores de control, como el costo y las quejas. Examina también los resultados por subgrupos para evaluar la equidad. Supervisa la implementación para que cada grupo reciba lo previsto.

Analiza los datos siguiendo reglas definidas de antemano, busca diferencias relevantes en los efectos y estima el costo por cada acción deseada adicional. Decide si adoptar, adaptar o descartar la intervención.

Algunos ejemplos: hogares que pagan sus impuestos con retraso reciben cartas distintas; hospitales prueban recordatorios en las credenciales del personal para promover la higiene de manos; empresas de servicios públicos comparan informes de consumo energético para reducirlo. Los resultados son más sólidos cuando hay objetivos medibles claros, un buen diagnóstico y una implementación fiel a lo previsto.

La evidencia muestra que los experimentos en el sector público pueden ser prácticos y tener impacto, aunque sus efectos promedio son modestos y dependen del contexto. Un diseño sólido, resultados claramente definidos y transparencia mediante el registro previo y la presentación de resultados mejoran la fiabilidad y la ampliación de las intervenciones.

• UK Cabinet Office (2012): Describe un enfoque práctico y gradual para realizar ensayos controlados aleatorizados en el gobierno y explica cuándo utilizarlos. [1]
• Hallsworth et al. (2017): Pequeños cambios en las cartas tributarias aumentaron los pagos a tiempo en ensayos de campo a gran escala. [2]
• Allcott (2011): Los informes energéticos basados en normas sociales redujeron el consumo eléctrico de los hogares en un pequeño porcentaje a gran escala. [3]
• Mertens et al. (2022): Un metaanálisis encuentra efectos de pequeños a moderados en los nudges (pequeños empujones conductuales) y destaca la importancia del contexto y la calidad del diseño. [4]
• Gertler et al. (2016): Ofrece una guía de referencia para la evaluación causal, las amenazas a la validez y la relación costo-efectividad. [5]

• Los efectos promedio son pequeños; solo resultan relevantes cuando los resultados tienen un gran valor o la implementación es barata.
• Validez externa: los resultados pueden atenuarse o invertirse al ampliar la intervención o trasladarla a otros contextos.
• Hay restricciones relacionadas con la asignación aleatoria, la ética y la equidad; algunas conductas requieren políticas estructurales en lugar de pequeños empujones conductuales.
• Riesgos de medición: usar clics en lugar de resultados reales; los seguimientos breves no permiten detectar si los efectos persisten.
• El sesgo de publicación y las expectativas exageradas pueden distorsionar la evidencia; el registro previo y la presentación completa de resultados ayudan.