Igualdad de probabilidades y oportunidades

La igualdad de oportunidades y la igualdad de probabilidades son dos formas de medir si un sistema de IA es justo. La igualdad de oportunidades exige que las personas que realmente cumplen los requisitos (por ejemplo, que devolverían un préstamo) reciban un resultado positivo de la IA (la aprobación del préstamo) en la misma proporción, sin importar su grupo. La igualdad de probabilidades es más estricta: exige lo anterior y, además, que las personas que no cumplen los requisitos reciban un resultado negativo en la misma proporción en todos los grupos.

Piensa en un filtro de correo no deseado: la igualdad de oportunidades significa que clasifica correctamente los correos legítimos como «no deseados: no» en la misma proporción para todos los remitentes. La igualdad de probabilidades añade que también debe clasificar correctamente el correo no deseado como tal en la misma proporción.

Pregúntate: cuando evalúas un sistema automatizado, ¿se distribuyen sus errores de manera uniforme entre los distintos grupos?

Cuando un algoritmo hace predicciones, puede cometer dos tipos de errores: falsos positivos (decir «sí» por error) y falsos negativos (decir «no» por error). La igualdad de oportunidades y la igualdad de probabilidades son criterios de equidad que se centran en si las tasas de estos errores son iguales entre distintos grupos demográficos.

Igualdad de oportunidades

Esta medida se centra en la equidad para quienes merecen un resultado positivo. Establece que la probabilidad de recibir correctamente una predicción positiva debe ser la misma para todos los grupos. Es lo mismo que decir que la tasa de falsos negativos debe ser igual. Se trata de no perjudicar a quienes cumplen los requisitos.

Por ejemplo, si una IA selecciona candidatos para una beca, la igualdad de oportunidades exige que, entre todos los estudiantes que realmente cumplen los requisitos, se recomiende al mismo porcentaje de cada grupo demográfico. Busca evitar que se pase por alto a candidatos que cumplen los requisitos de un grupo con más frecuencia que a los de otro.

Igualdad de probabilidades

Esta condición es más estricta y parte de la igualdad de oportunidades. Exige que tanto la tasa de falsos negativos como la tasa de falsos positivos sean iguales entre los grupos. Además de dar una oportunidad justa a quienes cumplen los requisitos, también garantiza un trato similar para quienes no los cumplen.

Piensa en una IA que evalúa el riesgo antes de un juicio para recomendar la libertad bajo fianza. Un falso negativo consiste en liberar a alguien que vuelve a delinquir. Un falso positivo consiste en mantener detenida a una persona que no habría vuelto a delinquir. La igualdad de probabilidades exigiría que las tasas de error del algoritmo fueran las mismas, sin importar la raza, tanto para las personas que volverían a delinquir como para las que no. Esto evita que un grupo quede expuesto de forma desproporcionada a cualquiera de los dos tipos de error.

La igualdad de probabilidades y la igualdad de oportunidades son definiciones estadísticas de «equidad entre grupos» que exigen que las tasas de error de un algoritmo sean iguales entre grupos definidos por características protegidas, como la raza o el género [1, 2].

• Estas medidas se desarrollaron para ofrecer un enfoque con más matices que otros criterios más sencillos, como la paridad demográfica. Esta solo considera la proporción total de predicciones positivas y puede cumplirse con modelos que perjudican a personas de un grupo protegido que sí cumplen los requisitos [1, 4]. [1] (2016)
• Al tomar el resultado real como condición, estas definiciones obligan a un modelo a funcionar de manera consistente entre grupos, tanto para las personas que cumplen los requisitos para recibir un resultado positivo (verdaderos positivos) como para las que no los cumplen (verdaderos negativos) [1, 5]. [2] (2019)

Estas medidas tienen limitaciones importantes. En primer lugar, requieren acceso a una etiqueta que indique la realidad (por ejemplo, quién realmente devolvería un préstamo). A menudo, esa información no está disponible o refleja precisamente los sesgos históricos que el modelo busca corregir [2]. En segundo lugar, cumplir estos criterios estadísticos a nivel de grupo no garantiza un trato justo para una persona concreta. Por último, a menudo es imposible cumplir varios criterios de equidad a la vez. Además, imponer estas condiciones puede reducir la exactitud general del modelo, lo que crea un conflicto directo entre equidad y exactitud que hay que gestionar con cuidado [3].