Sesgo algorítmico

El sesgo algorítmico ocurre cuando los resultados de un sistema informático crean o refuerzan situaciones injustas, como la discriminación contra un grupo concreto. Esto suele ocurrir porque los datos usados para entrenar el sistema reflejan sesgos humanos que ya existen. Por ejemplo, si los datos de contratación de una empresa muestran que en el pasado contrató principalmente a hombres, una IA entrenada con esos datos podría aprender a favorecer injustamente a los candidatos hombres, aunque el género no se mencione de forma explícita. El sistema simplemente aprende patrones del pasado, incluidos los injustos.

Pregúntate: ¿Qué sesgos históricos podrían esconderse en los datos que se usan para tomar una decisión sobre mí?

El sesgo algorítmico no suele deberse a que los programadores escriban código discriminatorio a propósito. Lo habitual es que el sesgo se introduzca a través de los datos que recibe el sistema. Si los datos históricos reflejan desigualdades sociales, un algoritmo aprenderá a reproducirlas e incluso a amplificarlas, confundiendo correlación con causalidad.

Esto puede tener consecuencias graves en la vida real. Piensa en un algoritmo de aprobación de préstamos entrenado con datos históricos de un banco que excluía del crédito a determinados barrios por motivos raciales, una práctica conocida como redlining. El algoritmo puede aprender a asociar ciertos códigos postales con un mayor riesgo y rechazar injustamente a solicitantes que cumplen los requisitos solo por el lugar donde viven. Así perpetúa un ciclo de desventaja económica.

Algo similar ocurre en la atención médica: un algoritmo diseñado para predecir el riesgo de los pacientes podría usar el gasto médico previo como indicador de su estado de salud. Se descubrió que este enfoque perjudicaba de forma sistemática a los pacientes negros, cuyo gasto médico ha sido históricamente menor para un mismo nivel de necesidad debido a factores estructurales. El algoritmo podría entonces clasificarlos erróneamente como más sanos de lo que están y negarles el acceso a programas de atención necesarios [7].

La idea clave es que «basado en datos» no significa automáticamente «objetivo». Debemos examinar de forma crítica las fuentes de datos, los supuestos del modelo y los efectos reales de cualquier sistema automatizado para asegurarnos de que promueva la equidad y no se limite a reproducir la eficiencia del pasado.

La investigación sobre el sesgo algorítmico, a menudo llamada equidad algorítmica, explora sus causas, sus efectos y las estrategias para mitigarlo. Distingue entre distintos tipos de sesgo, como el histórico, el de medición y el de representación. También propone definiciones matemáticas de «equidad» que a veces entran en conflicto y obligan a tomar decisiones difíciles entre distintos criterios.

• Barocas y Selbst (2016) sostienen que el sesgo algorítmico puede generar resultados discriminatorios reconocidos jurídicamente como impacto dispar, incluso sin intención discriminatoria por parte de quienes crean el sistema. [1]
• Kleinberg y sus colaboradores (2016) y Chouldechova (2017) muestran que, en general, es imposible satisfacer a la vez la calibración (paridad predictiva) y la igualdad de las tasas de error entre grupos cuando la frecuencia del resultado analizado (la tasa base) difiere entre ellos. [2, 6] [2]
• Buolamwini y Gebru (2018) revelaron diferencias importantes de precisión en sistemas comerciales de reconocimiento facial. Estos funcionaban mucho peor con mujeres de piel más oscura que con hombres de piel más clara, lo que puso de relieve el problema de la representación sesgada en los conjuntos de datos de entrenamiento. [3]
• Obermeyer y sus colaboradores (2019) descubrieron que un algoritmo comercial ampliamente utilizado para predecir riesgos de salud perjudicaba de forma sistemática a los pacientes negros. Usaba los costos médicos previos como indicador de necesidad, lo que llevaba a subestimar la gravedad de sus enfermedades en comparación con pacientes blancos igual de enfermos. [7]

Definir y medir la «equidad» es un gran reto: existen más de veinte definiciones matemáticas distintas y a menudo entran en conflicto. Lo que es justo para un grupo puede ser injusto para otro según un criterio diferente. Además, eliminar los sesgos de un algoritmo no es una solución puramente técnica: exige conocer a fondo el ámbito en el que se aplica y abordar las desigualdades sociales de raíz que reflejan los datos. Eliminar de los datos atributos protegidos, como la raza o el género, suele ser ineficaz, ya que otras variables, como el código postal, pueden funcionar como indicadores indirectos muy potentes de esos atributos.