Equidad por desconocimiento

La equidad por desconocimiento es la creencia equivocada de que los algoritmos son justos si no usan explícitamente atributos protegidos, como la raza o el género. Esto es falso porque otros datos, como los códigos postales o los nombres de las escuelas, pueden representar indirectamente esas características y reproducir los mismos sesgos. Por ejemplo, un algoritmo de contratación que excluye la raza, pero usa los nombres de las escuelas, podría seguir discriminando a ciertos grupos raciales porque algunas escuelas atienden principalmente a comunidades específicas. Este enfoque crea una falsa sensación de equidad y permite que la discriminación continúe sin que nadie la detecte.

Reflexiona sobre esto: ¿Qué otros datos aparentemente neutrales podrían contener información sensible sobre las personas?

La equidad por desconocimiento es una de las ideas equivocadas más comunes y peligrosas en la ética de los algoritmos. Este enfoque plantea que basta con eliminar los atributos protegidos, como la raza, el género, la edad o la condición de discapacidad, de los conjuntos de datos para obtener automáticamente algoritmos justos. Sin embargo, esto pasa por alto la compleja red de correlaciones que existe en los datos del mundo real. Por ejemplo, en muchos países, los códigos postales tienen una fuerte relación con la raza y el nivel socioeconómico, mientras que el año de graduación puede relacionarse con la edad. Incluso datos aparentemente inofensivos, como el historial de navegación o los patrones de uso de aplicaciones, pueden revelar características protegidas.

Este enfoque falla debido a las variables sustitutas, que representan indirectamente otras características, y a las dependencias estadísticas entre los datos. Cuando un algoritmo aprende patrones a partir de datos históricos, también capta los sesgos sociales que esos patrones contienen. Incluso sin atributos protegidos explícitos, el sistema puede aprender a usar combinaciones de características neutrales que, en la práctica, reproducen resultados discriminatorios. Por ejemplo, la herramienta experimental de contratación de Amazon penalizaba los currículos que contenían la palabra inglesa «women's» («de mujeres»), como en «capitana del club de ajedrez femenino», aunque no recibía el género como dato explícito [1].

Las consecuencias van más allá de las decisiones de contratación. En la atención médica, los algoritmos que usan el gasto sanitario para representar las necesidades de salud subestiman sistemáticamente las necesidades de los pacientes negros. Históricamente, estos pacientes han tenido menos acceso a los servicios de salud y los han utilizado menos debido a barreras sistémicas [2]. Del mismo modo, los sistemas policiales predictivos que usan datos históricos de detenciones concentran desproporcionadamente su atención en barrios donde ya hay una fuerte presencia policial. Esto crea un ciclo de retroalimentación que agrava las desigualdades raciales. Estos ejemplos muestran que la equidad por desconocimiento no solo fracasa en lograr la equidad, sino que puede reforzar y perpetuar activamente las desigualdades existentes, al tiempo que permite a quienes implementan los sistemas negar su responsabilidad.

La equidad por desconocimiento es uno de los enfoques más antiguos e ingenuos de la equidad algorítmica. Se formalizó en los primeros trabajos sobre aprendizaje automático, antes de que los investigadores identificaran sus fallos fundamentales. Este enfoque nace de una interpretación errónea tanto de la legislación contra la discriminación como de la dependencia estadística: asume que excluir formalmente los atributos protegidos basta para evitar resultados discriminatorios.

• Barocas y Selbst (2016): Establecen que, incluso sin atributos protegidos explícitos, los algoritmos pueden infringir las leyes contra la discriminación por su impacto dispar, es decir, por afectar de forma desproporcionada a ciertos grupos, cuando reproducen patrones de desigualdad existentes [1].
• Noble (2018): Demuestra cómo los algoritmos de búsqueda pueden reforzar estereotipos y marginar a comunidades racializadas sin recurrir a una categorización racial explícita, mediante asociaciones aprendidas de datos de entrenamiento sesgados [2].
• Dwork y colaboradores (2012): Introducen definiciones formales de equidad algorítmica que van más allá de excluir atributos. Destacan la necesidad de considerar los resultados reales, además de los datos de entrada, para determinar si un sistema es justo [3].

La equidad por desconocimiento falla según prácticamente todas las definiciones formales de equidad algorítmica, salvo la equidad de los procedimientos. No permite abordar las desigualdades históricas, las dependencias estadísticas ni los ciclos de retroalimentación que perpetúan los sesgos. Este enfoque falla especialmente en ámbitos donde las decisiones tienen consecuencias importantes, como la atención médica, la justicia penal y el empleo, en los que abundan las variables sustitutas y la discriminación tiene graves costos. Además, ofrece una falsa tranquilidad a quienes lo implementan. Esto puede empeorar los resultados al generar una confianza injustificada en sistemas con fallos fundamentales y desalentar medidas más sólidas para lograr la equidad.