Razonamiento causal para la equidad

El razonamiento causal para la equidad consiste en preguntarte: «¿Qué pasaría con el resultado de esta persona si cambiáramos su atributo protegido en un mundo hipotético y mantuviéramos iguales todas sus demás características?». Este enfoque revela discriminación oculta que los métodos estadísticos no detectan, como cuando un algoritmo de contratación rechaza a candidatos de ciertos códigos postales porque esos barrios están relacionados con la raza, aunque el algoritmo nunca reciba información directa sobre ella. Piensa en ello como rastrear las vías por las que fluye realmente la información sensible, en lugar de fijarte solo en las correlaciones superficiales. Comprueba esto: Las métricas estadísticas de equidad pueden ocultar la discriminación por variables sustitutas, pero los modelos causales la ponen al descubierto.

El razonamiento causal aborda la equidad mediante modelos causales estructurales que muestran cómo los atributos protegidos, como la raza o el género, influyen en los resultados por distintas vías. La idea clave es que no todas las asociaciones entre atributos protegidos y decisiones son discriminatorias: algunas pasan por variables intermedias legítimas llamadas «variables resolutivas». Por ejemplo, en la admisión universitaria, el género podría influir en la elección del departamento, y esa elección influye en las decisiones de admisión. Si consideramos que la elección del departamento es un factor legítimo, es decir, una variable resolutiva, la vía que va del género a la elección del departamento y de ahí a la admisión es aceptable. En cambio, una vía directa del género a la admisión sería discriminatoria.

Este marco distingue dos tipos fundamentales de discriminación. La «discriminación no resuelta» ocurre cuando un atributo protegido tiene una influencia causal directa en la decisión que no se explica por variables resolutivas legítimas. La «discriminación por variables sustitutas» ocurre cuando el algoritmo usa variables que representan atributos protegidos, como el código postal, el barrio o el nombre en sustitución de la raza o el origen étnico. El enfoque causal nos permite identificar exactamente qué vías del proceso de decisión son problemáticas y cuáles son aceptables.

En la práctica, esto significa que podemos diseñar algoritmos que eliminen las vías injustas y conserven las legítimas. En la contratación, podríamos intervenir sobre variables sustitutas como el nombre o el código postal para eliminar su influencia, mientras permitimos que las cualificaciones y la experiencia sigan influyendo en las decisiones. Al conceder préstamos, podemos distinguir entre usar el historial crediticio, una variable resolutiva que podría estar correlacionada con la raza, y usar datos del barrio, una variable sustituta que incorpora directamente información racial. Esta precisión ayuda a las organizaciones a crear sistemas más equitativos sin sacrificar innecesariamente su capacidad predictiva.

El razonamiento causal transforma el análisis de la equidad: pasa de elegir métricas estadísticas a modelar explícitamente el proceso que genera los datos y justificar los supuestos sobre qué vías causales son aceptables. Kusner y sus colegas (2017) introdujeron la equidad contrafáctica, que exige que la predicción para una persona sea la misma en el mundo real y en un mundo hipotético en el que perteneciera a otro grupo demográfico [1]. Kilbertus y sus colegas (2017) formalizaron dos criterios causales clave: la discriminación no resuelta, una influencia directa de los atributos protegidos que las variables resolutivas no mitigan, y la discriminación por variables sustitutas, una influencia que pasa por variables como el código postal o el nombre [2]. Russell y sus colegas (2018) demostraron que los criterios de equidad basados en datos observacionales no pueden distinguir entre situaciones de discriminación que intuitivamente son diferentes. Por eso, cualquier análisis significativo de la equidad necesita supuestos causales [3]. El marco de modelos causales estructurales de Pearl ofrece la base formal de estos enfoques: usa grafos acíclicos dirigidos para representar relaciones causales y el cálculo do para razonar sobre intervenciones.

Las aplicaciones en el mundo real abarcan varios ámbitos. En la justicia penal, el análisis causal ha revelado que las herramientas de evaluación de riesgos pueden apoyarse en variables sustitutas, como el lugar de detención o la situación socioeconómica, que están correlacionadas con la raza. En la contratación, los algoritmos que usan características como el prestigio de la universidad, el código postal o incluso el estilo de escritura pueden incorporar información demográfica. En la atención sanitaria, los modelos predictivos que usaban el gasto sanitario como sustituto de las necesidades de salud perjudicaban sistemáticamente a los pacientes negros. Esto ocurría porque históricamente se había gastado menos dinero en su atención, incluso cuando estaban igual de enfermos.

Un reto técnico clave es que construir modelos causales precisos requiere conocimientos del ámbito y supuestos sobre el proceso que genera los datos que no pueden verificarse solo con esos datos. Una misma distribución conjunta de variables puede corresponder a varias estructuras causales distintas, con implicaciones muy diferentes para la equidad. Esto significa que las decisiones sobre equidad implican inevitablemente juicios de valor sobre qué vías son legítimas, además de soluciones técnicas.

Los enfoques causales de la equidad tienen varias limitaciones prácticas y conceptuales. Primero, construir modelos causales válidos requiere un conocimiento profundo del ámbito y supuestos sobre el proceso que genera los datos que a menudo no pueden verificarse empíricamente: los mismos datos observados pueden ser compatibles con varios grafos causales distintos. Segundo, razonar sobre escenarios contrafácticos relacionados con atributos profundamente arraigados, como la raza o el género, plantea retos conceptuales, porque es difícil definir de forma significativa qué supondría intervenir sobre ellos. Tercero, los modelos causales pueden volverse complejos rápidamente en sistemas reales con muchas variables y vías que interactúan. Esto dificulta especificarlos con precisión y exige muchos recursos de cálculo para trabajar con ellos. Cuarto, decidir qué variables cuentan como «variables resolutivas» y cuáles como «variables sustitutas» implica juicios de valor que pueden variar según el contexto y las partes interesadas: no existe una solución puramente técnica para determinar qué constituye una vía causal legítima. Por último, los métodos causales suelen requerir más datos y supuestos más fuertes que los enfoques puramente estadísticos. Además, pueden no ser viables cuando no se observan variables clave o cuando se conoce poco la estructura causal.