- Biblioteca
- Dinámicas sociales y marcos éticos
- Ética aplicada y dilemas
- Equidad algorítmica y ética de la IA
- Estrategias de mitigación de sesgos
Modelo mental
Estrategias de mitigación de sesgos
Técnicas para reducir la discriminación injusta en sistemas de decisión algorítmica mediante el preprocesamiento de datos, ajustes del entrenamiento o la corrección de resultados.
Descubre
Una herramienta de IA para contratar personal aprende que los candidatos que tuvieron éxito en el pasado a menudo se graduaron en universidades de élite. ¿Deberíamos eliminar la información sobre la universidad de los datos de entrenamiento, conservarla y aceptar el sesgo o ajustar las decisiones del modelo para garantizar la igualdad de oportunidades?
¿Cuál es el mejor enfoque?
Exploremos los tres enfoques principales para reducir el sesgo algorítmico.
Comprende
Comprende
Las estrategias de mitigación de sesgos son técnicas para hacer que los sistemas de IA sean más justos al reducir la discriminación contra ciertos grupos. Hay tres enfoques principales: el preprocesamiento (limpiar los datos antes del entrenamiento), el procesamiento interno (ajustar cómo aprende el modelo) y el posprocesamiento (corregir los resultados después de tomar las decisiones). Por ejemplo, si un sistema de aprobación de préstamos discrimina a ciertos barrios, el preprocesamiento podría eliminar los datos de ubicación, el procesamiento interno podría añadir condiciones de equidad durante el entrenamiento y el posprocesamiento podría ajustar los umbrales de aprobación para garantizar un trato igualitario entre grupos.
Prueba esto: Comprueba si algún sistema de IA que uses ha documentado cómo evalúa la equidad.
Explicación completa
Explicación completa
La mitigación de sesgos interviene en distintas etapas del proceso de aprendizaje automático. Las técnicas de preprocesamiento transforman los datos de entrenamiento para eliminar patrones injustos antes de que un modelo aprenda de ellos. Esto incluye métodos como la reponderación (ajustar el peso de las muestras para equilibrar la representación) y el aprendizaje de representaciones justas que ocultan atributos sensibles y conservan la información útil. Su principal ventaja es que los datos depurados pueden usarse con cualquier algoritmo de aprendizaje automático.
El procesamiento interno modifica el propio algoritmo de aprendizaje para incorporar condiciones de equidad directamente en el entrenamiento. La mitigación de sesgos mediante aprendizaje adversario entrena dos modelos a la vez: uno para hacer las predicciones de la tarea y otro para intentar detectar atributos sensibles a partir de esas predicciones. Esto crea una tensión que favorece la equidad. Otros métodos de procesamiento interno añaden restricciones matemáticas para garantizar tasas de error iguales entre grupos o ajustan el objetivo de optimización para penalizar los resultados injustos.
El posprocesamiento actúa después de que el modelo haya hecho sus predicciones y ajusta los umbrales o los resultados para cumplir criterios de equidad. Por ejemplo, se podrían aplicar distintos umbrales de decisión a distintos grupos para igualar las tasas de verdaderos positivos. El método de clasificación con opción de rechazo da el beneficio de la duda a los grupos desfavorecidos cuando las predicciones son inciertas.
Cada enfoque implica ventajas y desventajas. El preprocesamiento es flexible, pero puede reducir la precisión de las predicciones. El procesamiento interno puede lograr un mejor rendimiento, pero exige modificar el algoritmo de entrenamiento. El posprocesamiento conserva la precisión del modelo, pero puede parecer un parche en lugar de una solución al problema de raíz.
Investigación
Investigación
La investigación demuestra que ningún enfoque de mitigación es superior en todos los casos: su eficacia depende de la métrica de equidad concreta, las características del conjunto de datos y el contexto de aplicación. Una revisión exhaustiva de Mehrabi et al. (2021) identifica más de 20 definiciones de equidad y clasifica las técnicas de mitigación a lo largo del ciclo de vida del proceso de aprendizaje automático [1]. Caton y Haas (2024) también destacan que las intervenciones de equidad deben considerar tanto las limitaciones técnicas como las implicaciones sociales y legales [2].
- Zemel et al. (2013) introdujeron el aprendizaje de representaciones justas que codifican los datos para maximizar su utilidad mientras ocultan los atributos protegidos. Esto permite que cualquier clasificador posterior trabaje con los datos preprocesados [3].
- Zhang et al. (2018) demostraron que la mitigación de sesgos mediante aprendizaje adversario puede mejorar la paridad demográfica al entrenar simultáneamente un predictor para minimizar la pérdida de la tarea y un adversario para predecir atributos sensibles [4].
- Hardt et al. (2016) demostraron que ajustar los umbrales de predicción a posteriori puede igualar las oportunidades (las tasas de verdaderos positivos) entre grupos sin volver a entrenar los modelos [5].
- Barocas, Hardt y Narayanan (2023) documentan imposibilidades matemáticas fundamentales: ningún clasificador puede satisfacer simultáneamente todas las definiciones habituales de equidad, lo que obliga a buscar equilibrios según el contexto [6].
Aclaración: Mitigación de sesgos mediante aprendizaje adversario: técnica de entrenamiento en la que un modelo intenta predecir el resultado mientras un segundo modelo intenta adivinar los atributos protegidos. El primero mejora cuando el segundo falla, lo que indica que las predicciones contienen menos información sensible.
Limitaciones
Limitaciones
Los enfoques actuales de mitigación de sesgos tienen limitaciones importantes. Las definiciones matemáticas de equidad a menudo entran en conflicto: Barocas et al. demuestran que la independencia, la separación y la suficiencia no pueden cumplirse simultáneamente, salvo en casos triviales [6]. La equidad por omisión de atributos sensibles falla cuando siguen presentes en los datos variables que los representan de forma indirecta, como los códigos postales en el caso de la raza. Las técnicas de mitigación optimizadas para una métrica de equidad pueden empeorar otras, y ningún método aborda las causas de fondo de los datos de entrenamiento sesgados o de las etiquetas de referencia injustas. Además, las intervenciones de equidad optimizadas para métricas agregadas pueden ocultar daños en subgrupos interseccionales, formados por la combinación de varias características. Quienes operan los sistemas aún pueden anular o ignorar las recomendaciones justas de la IA cuando chocan con sus sesgos previos, lo que reduce la eficacia de las intervenciones técnicas [7].
Fuentes
Fuentes
- [1] Una revisión del sesgo y la equidad en el aprendizaje automáticoNinareh Mehrabi, Fred Morstatter, Nripsuta Saxena, Kristina Lerman, Aram Galstyan - 2021
- [2] Equidad en el aprendizaje automático: una revisiónSimon Caton and Christian Haas - 2024
- [3] Aprendizaje de representaciones justasRichard Zemel, Yu (Ledell) Wu, Kevin Swersky, Toniann Pitassi, Cynthia Dwork - 2013
- [4] Mitigación de sesgos no deseados mediante aprendizaje adversarioBrian Hu Zhang, Blake Lemoine, Margaret Mitchell - 2018
- [5] Igualdad de oportunidades en el aprendizaje supervisadoMoritz Hardt, Eric Price, Nathan Srebro - 2016
- [6] Equidad y aprendizaje automático: limitaciones y oportunidadesSolon Barocas, Moritz Hardt, Arvind Narayanan - 2023
- [7] Comprender el impacto de la supervisión humana en los resultados discriminatorios de la toma de decisiones apoyada por IAAlexia Gaudeul, Ottla Arrigoni, Vicky Charisi, Marina Escobar-Planas, Isabelle Hupont - 2024
Pruébalo
Comprueba lo que has entendido
Una empresa descubre que su sistema de IA para filtrar currículums rechaza a candidatos cualificados de ciertas universidades. ¿Qué estrategia de mitigación elimina esta información antes de que el modelo llegue a verla?
Ver la explicación de la guía
Respuesta: Preprocesamiento: eliminar la información sobre la universidad de los datos de entrenamiento
El preprocesamiento interviene antes del entrenamiento del modelo y transforma o elimina características sesgadas del conjunto de datos. Así se garantiza que el modelo nunca aprenda de la información problemática. El procesamiento interno modificaría el propio algoritmo de entrenamiento, mientras que el posprocesamiento ajustaría los resultados después de que el modelo hiciera sus predicciones. La principal ventaja del preprocesamiento es que los datos depurados pueden usarse con cualquier clasificador posterior.
¿Cuándo deberías elegir el posprocesamiento para mitigar sesgos en lugar del preprocesamiento o el procesamiento interno?
Ver la explicación de la guía
Respuesta: Cuando el modelo ya está en uso y no puedes volver a entrenarlo
El posprocesamiento es ideal cuando el modelo ya está en producción y volver a entrenarlo resulta costoso o poco práctico. Ajusta los resultados sin modificar el modelo ni los datos de entrenamiento. El preprocesamiento es la mejor opción para usar los datos con distintos algoritmos de forma flexible, mientras que el procesamiento interno es óptimo cuando puedes modificar el propio proceso de entrenamiento. La desventaja es que el posprocesamiento aborda los síntomas en lugar de las causas de fondo.
Una IA del ámbito sanitario presenta tasas de falsos negativos diferentes entre pacientes blancos y negros. La mitigación de sesgos mediante aprendizaje adversario abordaría este problema entrenando:
Ver la explicación de la guía
Respuesta: Dos modelos que compiten: uno para predecir resultados y otro para adivinar características demográficas a partir de las predicciones
La mitigación de sesgos mediante aprendizaje adversario usa dos modelos que compiten: un predictor que aprende la tarea y un adversario que intenta identificar atributos protegidos a partir de los resultados del predictor. El predictor mejora cuando el adversario falla, lo que significa que las predicciones contienen menos información sensible. Esto incorpora una presión hacia la equidad durante el entrenamiento, en lugar de aplicar una corrección después. El enfoque aborda directamente las diferencias en las tasas de error sin exigir modelos separados para cada grupo ni ajustes manuales de los umbrales.
Sigue explorando
Encuentra otra idea para la decisión que tienes por delante.
Toda la biblioteca de Reframo es de lectura gratuita. Explora otra guía cuando quieras.