Fuentes del sesgo algorítmico

Los sistemas de inteligencia artificial (IA) pueden producir resultados injustos por los ejemplos de los que aprenden, por su diseño o por cómo los usa la gente. Un conjunto de datos puede registrar fielmente decisiones pasadas y, aun así, trasladar un trato injusto a un sistema nuevo. Comprueba esto: elige una decisión automatizada y revisa quién aparece en sus datos y qué mide realmente el indicador de éxito.

El aprendizaje automático consiste en aprender patrones a partir de ejemplos. Los resultados injustos pueden surgir de esos ejemplos, de las decisiones de diseño del algoritmo y de las interacciones con los usuarios. La revisión bibliográfica describe estas fuentes relacionadas entre sí, en lugar de tratar la injusticia como un problema exclusivo de los datos. [1] El sesgo histórico aparece cuando las desigualdades sociales existentes pasan a los datos, incluso si su recopilación refleja fielmente el mundo. En un caso hipotético de contratación, supón que una auditoría demuestra que las decisiones pasadas descartaron por su género a mujeres con las mismas cualificaciones que otros candidatos. Un sistema entrenado para copiar esas decisiones podría repetir ese trato. Observar que las mujeres representaron solo el 15 por ciento de las contrataciones anteriores no bastaría, por sí solo, para demostrar discriminación ni explicar su causa.

El sesgo de medición surge cuando la información que se elige o se mide representa mal el concepto que se quiere evaluar. Una variable sustitutiva es una medida indirecta que usamos en lugar de lo que realmente queremos conocer. Piensa en un sistema de atención médica hipotético que usa el gasto como medida indirecta de las necesidades de salud. Si pacientes con la misma gravedad de enfermedad tienen distinto acceso a la atención, su gasto podría variar por esa diferencia de acceso. Dar prioridad a quienes gastan más podría entonces perjudicar a los pacientes con menos acceso. Esto ilustra un mecanismo posible, no un hallazgo sobre atención médica demostrado por el fragmento proporcionado.

El sesgo de representación ocurre cuando los ejemplos recopilados omiten o representan de forma insuficiente a partes de la población a la que se dirige el sistema. La exactitud global combina los resultados de todas las personas, por lo que puede ocultar un rendimiento peor en un subgrupo, es decir, un conjunto concreto de personas dentro de esa población. En una prueba hipotética de reconocimiento facial, un sistema que identifica a personas a partir de imágenes de sus rostros podría obtener una puntuación global más alta, pero una más baja para un grupo poco representado. Elegirlo frente a un sistema con mejores resultados para ese grupo supondría dar prioridad al rendimiento global sobre el rendimiento del subgrupo. El tamaño del conjunto de datos, por sí solo, no permite establecer esa disyuntiva.

Como otro ejemplo hipotético de una decisión de diseño, un sistema que filtra solicitudes de préstamo podría optimizarse únicamente para maximizar el número total de decisiones correctas, aunque cometa errores de forma desigual entre grupos. Comparar por separado las solicitudes que cumplen los requisitos pero se rechazan y las aprobaciones incorrectas puede poner de manifiesto esta disyuntiva. Es un ejemplo de cómo se elige qué optimizar, no un hallazgo sobre un sistema concreto en uso.

Un bucle de retroalimentación ocurre cuando los resultados de un sistema afectan a los datos que se usan para tomar decisiones futuras. La revisión lo ilustra con el orden de los resultados de búsqueda: colocar un resultado cerca del principio puede atraer clics, y usar esos clics para ordenar resultados futuros puede reforzar su visibilidad. Por tanto, los clics reflejan tanto la exposición al resultado como el interés de los usuarios. [1]

Como orientación práctica, revisa la representación, comprueba qué significan las mediciones y las decisiones registradas, compara los errores entre los grupos pertinentes y supervisa los resultados tras la puesta en uso del sistema. Estas comprobaciones requieren definir con claridad la población a la que se dirige el sistema y el objetivo de equidad. Tener cantidades equilibradas de personas de cada grupo no garantiza la equidad: el sesgo de agregación, que consiste en sacar conclusiones engañosas sobre individuos a partir de datos combinados de la población, puede persistir incluso cuando los grupos tienen la misma representación. [1]

• Marco de la revisión: la versión revisada de enero de 2022 del manuscrito preliminar distingue entre los sesgos que surgen de los datos y los que surgen de los algoritmos. También describe un bucle de retroalimentación que conecta los datos, los algoritmos y las interacciones con los usuarios. Se trata de una organización conceptual de la bibliografía, no de un hallazgo que demuestre que todos los sistemas siguen la misma cadena causal. [1]
• Evidencia empírica resumida en la revisión: las investigaciones sobre los conjuntos de datos de análisis facial IJB-A y Adience encontraron un predominio de personas de piel clara. El fragmento también explica que examinar conjuntamente el color de piel y el género puede revelar diferencias de rendimiento que quedan ocultas en los resúmenes de grupos más amplios. [1]
• Limitación conceptual de equilibrar los datos: el apartado sobre el sesgo de agregación explica que ignorar diferencias pertinentes entre grupos puede hacer que un modelo resulte inadecuado para algunos de ellos, incluso cuando tienen la misma representación en los datos de entrenamiento. Por tanto, tener el mismo número de personas por grupo no demuestra que el modelo sea adecuado para todos. [1]

El fragmento proporcionado no presenta los casos hipotéticos de contratación o atención médica como hallazgos empíricos. Una proporción observada de contrataciones, por sí sola, no permite identificar discriminación ni su causa. El fragmento tampoco respalda una regla general según la cual los datos sintéticos o equilibrados sean más justos que los datos históricos. Las comprobaciones sugeridas son orientaciones prácticas basadas en las categorías de la revisión, no una solución de eficacia demostrada. El fragmento está truncado y no permite respaldar afirmaciones sobre hallazgos que vayan más allá del texto proporcionado.