Modelos con restricciones de equidad

Los modelos con restricciones de equidad son sistemas de IA creados con reglas específicas para evitar resultados sesgados. Además de buscar la mayor precisión posible, deben cumplir una definición matemática de equidad, como garantizar tasas iguales de aprobación de préstamos para solicitantes similares de distintos barrios. Esto suele implicar una concesión deliberada: se sacrifica un poco de precisión general para reducir considerablemente los sesgos perjudiciales. Por ejemplo, una IA que filtra currículums podría tener una restricción para que sus recomendaciones no favorezcan de forma desproporcionada a candidatos de un solo género, incluso si los datos históricos muestran ese desequilibrio.

Prueba esto: Cuando un sistema automatizado tome una decisión, piensa qué regla de equidad podría estar siguiendo.

Un modelo con restricciones de equidad cambia el objetivo fundamental del proceso de entrenamiento de la IA. Los modelos estándar tienen una tarea: minimizar los errores. Un modelo con restricciones de equidad tiene dos: minimizar los errores y cumplir una regla específica de equidad.

El proceso: Entrada → Restricción → Salida

Entrada: El proceso comienza con los datos habituales, como registros históricos de contratación o solicitudes de préstamos. Un elemento clave es que los desarrolladores también aportan una restricción de equidad matemática como segunda entrada. Podría ser una regla como esta: «La diferencia entre el porcentaje de hombres y el de mujeres recomendados para una entrevista no debe superar el 5 %».

Proceso: Durante el entrenamiento, la IA aprende patrones a partir de los datos. Sin embargo, se comprueba si cada posible decisión que aprende a tomar cumple la restricción de equidad. Si un patrón produce un resultado sesgado que incumple la regla, se penaliza al modelo. Esto lo obliga a encontrar otro patrón que sea razonablemente preciso y justo a la vez.

Salida: El modelo final es el resultado de ese equilibrio. Por ejemplo, en el diagnóstico médico, una IA estándar podría aprender que cierto síntoma es un indicio menos claro de una enfermedad en las mujeres debido a datos históricos sesgados. Un modelo con restricciones de equidad tendría que ir más allá de ese sesgo histórico y evaluar la importancia del síntoma de forma más equitativa. Esto daría lugar a un conjunto de predicciones más justo, aunque posiblemente algo distinto.

Este mismo proceso se aplica a otros ámbitos, como la moderación de contenido. Una IA podría tener una restricción para garantizar que las reglas contra el discurso de odio no se apliquen de forma desproporcionada a publicaciones escritas en dialectos específicos, como el inglés vernáculo afroamericano, y así reducir el sesgo cultural.

Las restricciones de equidad suelen implementarse en una de tres etapas del proceso de aprendizaje automático: preprocesamiento (modificar los datos de entrada), durante el entrenamiento (modificar el algoritmo de aprendizaje) o posprocesamiento (ajustar las salidas del modelo). Los métodos que actúan durante el entrenamiento son la forma más directa de implementarlas, ya que incorporan la equidad a la lógica central del modelo.

• Hardt, Price y Srebro (2016) desarrollaron una técnica de posprocesamiento para lograr la «igualdad de oportunidades», que garantiza que la tasa de verdaderos positivos sea igual entre grupos. Para ello, establecen distintos umbrales de decisión para cada grupo sin volver a entrenar el modelo. [1]
• Zafar et al. (2017) introdujeron métodos influyentes que actúan durante el entrenamiento y añaden restricciones de equidad directamente al objetivo de optimización del algoritmo. Esto lo obliga a aprender límites de decisión que eviten el impacto dispar desde el principio. [2]
• Bellamy et al. (2018) crearon AI Fairness 360 (AIF360), un conjunto de herramientas de código abierto que ofrece a los desarrolladores algoritmos para detectar y mitigar sesgos. Incluye diversos métodos de preprocesamiento, de intervención durante el entrenamiento y de posprocesamiento. [3]

La idea de que existe un «compromiso entre equidad y precisión» no se aplica en todos los casos: mejorar la equidad a veces permite descubrir y corregir sesgos que también causaban imprecisiones. El mayor desafío es que elegir una métrica de equidad es una decisión ética, no técnica. Las definiciones matemáticas de equidad, como la paridad demográfica (resultados iguales) y la igualdad de probabilidades (tasas de error iguales), suelen ser mutuamente excluyentes. Esto significa que un modelo no puede cumplirlas todas al mismo tiempo. Además, optimizar la equidad para un conjunto de grupos, por ejemplo, según la raza, puede aumentar sin querer el sesgo para otro, por ejemplo, según el género. Este fenómeno se conoce como «fairness gerrymandering».