Impactos en la equidad a largo plazo

Los impactos en la equidad a largo plazo se refieren a cómo las decisiones algorítmicas moldean la sociedad durante meses o años mediante ciclos de retroalimentación. Cuando una IA toma decisiones basadas en datos, como predecir el riesgo crediticio o asignar recursos, esas decisiones generan nuevos resultados que se convierten en los datos de entrenamiento del futuro. Esto puede amplificar los sesgos existentes o crear otros completamente nuevos. Piensa en una profecía autocumplida: si un algoritmo predice que un barrio es de alto riesgo y envía más recursos allí, puede encontrar exactamente lo que predijo porque cambió las condiciones. Sin embargo, las investigaciones sugieren que los sistemas algorítmicos pueden influir en los juicios humanos con el tiempo mediante interacciones repetidas.

Reflexiona sobre esto: Cuando ves una recomendación de una IA, ¿piensas en cómo podría estar moldeando tus decisiones futuras?

Cómo funcionan los impactos en la equidad a largo plazo

Los impactos en la equidad a largo plazo se producen mediante un proceso llamado «performatividad»: las predicciones algorítmicas cambian la realidad que pretenden observar. Las medidas estáticas de equidad evalúan un algoritmo en un momento concreto. En cambio, el análisis a largo plazo considera cómo sus decisiones repercuten en los sistemas. Un algoritmo entrenado con datos históricos de contratación podría recomendar candidatos similares a las personas contratadas anteriormente. Esto influye en quiénes se postulan y crea un ciclo de retroalimentación que perpetúa los patrones existentes durante años.

Tres mecanismos principales

Los ciclos de retroalimentación son el mecanismo más estudiado. Las investigaciones demuestran que, cuando las personas interactúan repetidamente con sistemas de IA sesgados, aprenden a tener más sesgos. Las investigaciones indican que los sistemas de IA pueden amplificar los sesgos de formas que pueden diferir de las interacciones entre personas. El efecto se acumula: cada interacción modifica ligeramente el comportamiento y genera cambios medibles a lo largo de meses o años.

La injusticia acumulativa ocurre cuando los algoritmos tratan a las personas en función de datos que reflejan la discriminación histórica. Por ejemplo, la discriminación y la segregación históricas en el acceso a la vivienda quedan incorporadas en los algoritmos que usan la ubicación, ya que los códigos postales se correlacionan con la raza debido a la discriminación previa. Esto permite que los algoritmos perpetúen las desigualdades sin usar directamente datos sobre la raza (Stanford Encyclopedia, 2024; Heidari et al., 2019).

La segregación por características ocurre cuando los algoritmos modifican el comportamiento para maximizar la precisión de las predicciones. Por ejemplo, en la contratación, los filtros algorítmicos repetidos pueden cambiar quiénes se postulan o cuánto esfuerzo invierten. Esto puede modificar con el tiempo la distribución de las cualificaciones. Así surgen nuevas formas de desigualdad que parecen «justas» según las medidas estadísticas, pero que nacen de la propia influencia del algoritmo.

Implicaciones prácticas

Las organizaciones que ponen en funcionamiento algoritmos deberían hacer un seguimiento de los resultados a lo largo del tiempo, además de evaluarlos en el momento de su implementación. Esto incluye observar si los patrones de decisión cambian para distintos grupos, si los ciclos de retroalimentación podrían estar amplificando los sesgos y si el sistema está moldeando el comportamiento de formas que crean nuevas desigualdades. Algunos investigadores proponen métricas de «equidad dinámica» que tienen en cuenta cómo las decisiones cambian la población sobre la que actúan.

El estudio de la equidad a largo plazo va más allá de las medidas tradicionales de equidad algorítmica al analizar cómo los sistemas de decisión modifican los resultados con el tiempo. Este campo surgió al reconocer que las métricas estáticas pasan por alto efectos cruciales: un algoritmo puede cumplir inicialmente todos los criterios habituales de equidad y, aun así, crear graves desigualdades en unos años mediante mecanismos de retroalimentación.

Las investigaciones recientes identifican tres patrones clave en los impactos a largo plazo: la amplificación de sesgos, en la que los algoritmos aprovechan el ruido de los datos de entrenamiento para aumentar los sesgos existentes por encima de los niveles humanos; la performatividad, en la que las predicciones cambian la realidad social que describen; y la respuesta estratégica, en la que las personas adaptan su comportamiento a los incentivos algorítmicos de formas que perjudican los objetivos de equidad previstos.

Glickman y Sharot (2024): Los ciclos de retroalimentación entre personas e IA alteran los juicios humanos de formas distintas a las interacciones entre personas. El estudio encontró que los sistemas de IA amplifican los pequeños sesgos de los datos de entrenamiento más que las personas y que, cuando las personas interactúan con estos sistemas de IA sesgados, sus propios sesgos aumentan. Los efectos se acumulan a lo largo de los ensayos, y el sesgo aumenta con las interacciones repetidas. [2]

Gohar et al. (2024): Una revisión exhaustiva identifica la «equidad a largo plazo» como un paradigma de investigación diferenciado con retos propios. Entre ellos están modelar las dinámicas temporales, tener en cuenta el comportamiento estratégico y diseñar intervenciones que mejoren los resultados, en lugar de cumplir criterios matemáticos estáticos que pueden empeorar la equidad en el mundo real con el tiempo. [3]

La Enciclopedia de Filosofía de Stanford señala que los debates sobre equidad algorítmica suelen centrarse en medidas matemáticas y descuidan la equidad «situada»: cómo interactúan los algoritmos con la injusticia histórica, las estructuras sociales y las dinámicas temporales cuando se ponen en funcionamiento en el mundo real. [4]

La investigación sobre los impactos en la equidad a largo plazo sigue limitada por varios factores. Primero, la validación empírica es difícil: la mayoría de los estudios usan simulaciones o experimentos controlados, mientras que los impactos reales a largo plazo se desarrollan durante décadas en sistemas sociales complejos, con muchas variables que dificultan identificar las causas de los resultados. Segundo, existen dificultades de medición: definir resultados equitativos a lo largo del tiempo exige juicios de valor sobre qué debería considerarse una mejora o un empeoramiento. Tercero, el campo carece de protocolos de evaluación estandarizados, lo que dificulta comparar enfoques o evaluar si las intervenciones realmente ayudan. Cuarto, algunos investigadores sostienen que centrarse en los efectos a largo plazo podría justificar daños a corto plazo, mientras que otros responden que ignorar los impactos a largo plazo es, en sí mismo, una forma de daño. Por último, se debate si los algoritmos amplifican principalmente los sesgos sociales existentes o crean nuevas formas de desigualdad. Es probable que la respuesta varíe según el contexto, pero aún resulta difícil establecer principios generalizables.