Problema de la caja negra

El problema de la caja negra aparece cuando un sistema de IA toma decisiones que las personas no pueden entender ni explicar por completo, ni siquiera quienes lo crearon. Imagina a alguien muy competente en su trabajo que te da respuestas brillantes, pero no puede explicarte cómo llegó a ellas. La mayoría de los sistemas de IA actuales usan patrones matemáticos demasiado complejos para que podamos seguirlos, lo que hace casi imposible revisar si sus decisiones son justas o correctas. Pregúntate: si una IA te deniega un préstamo o te recomienda un tratamiento médico, ¿no deberías poder entender por qué?

Por qué los sistemas se convierten en cajas negras

Los sistemas de IA actuales suelen usar redes neuronales profundas con millones o miles de millones de parámetros interconectados. Estos sistemas aprenden patrones al procesar enormes cantidades de datos de entrenamiento y ajustar sus pesos internos mediante repetidos intentos de ensayo y error. El proceso que lleva a una decisión se vuelve tan complejo que ni siquiera quienes investigaron y construyeron el sistema pueden seguir con exactitud cómo produjo un resultado concreto.

El equilibrio entre rendimiento y transparencia

Esta preocupación va más allá del ámbito académico: afecta a la vida de las personas. En la atención médica, una IA podría detectar cáncer en imágenes médicas con más exactitud que los médicos. Pero si no puede explicar qué patrones identificó, a los médicos les cuesta confiar en sus recomendaciones. En la justicia penal, las herramientas de evaluación de riesgos pueden influir en las sentencias sin que las personas acusadas puedan cuestionar el razonamiento. Los modelos más potentes a menudo sacrifican la facilidad para interpretar sus decisiones a cambio de una mayor capacidad.

Por qué importan las explicaciones

Sin transparencia, no podemos detectar cuándo los sistemas de IA tienen sesgos o cometen errores por basarse en supuestos equivocados. Un algoritmo de selección de personal podría descartar a candidatos cualificados porque aprendió a asociar los códigos postales con el nivel socioeconómico. Un sistema de evaluación crediticia podría denegar préstamos basándose en variables que actúan como sustitutas de la raza y están correlacionadas con ella. Las explicaciones van más allá de satisfacer la curiosidad: son esenciales para exigir responsabilidades, corregir fallos y garantizar que los sistemas de IA se ajusten a los valores humanos.

Qué se está haciendo

Se están desarrollando técnicas de IA explicable, como los mecanismos de atención, que muestran en qué datos de entrada se centró el modelo; el análisis de importancia de las características, que identifica qué factores tuvieron más peso; y los modelos interpretables a escala local, que aproximan el funcionamiento de sistemas complejos en torno a decisiones concretas. Algunas personas defienden que deberíamos dar prioridad a modelos interpretables por diseño, aunque sean un poco menos exactos. Otras creen que podemos desarrollar herramientas que expliquen las cajas negras más potentes sin sacrificar sus capacidades.

El problema de la caja negra cobró protagonismo con el auge del aprendizaje profundo en la década de 2010, aunque tiene sus raíces en debates filosóficos anteriores sobre la opacidad computacional. El reto central es que un sistema puede ser técnicamente transparente, con su código y sus pesos visibles, y aun así ser epistémicamente opaco, es decir, incomprensible para las personas.

• Arrieta et al. (2020): Presentan una clasificación exhaustiva de los métodos de inteligencia artificial explicable (XAI). Distinguen entre técnicas ante hoc, interpretables por diseño, y post hoc, que ofrecen explicaciones después de obtener el resultado. Señalan que ningún método por sí solo resuelve todos los retos de transparencia. [1]

• Pasquale (2015): Sostiene que los algoritmos de caja negra en las finanzas, la gobernanza y la atención médica generan tres tipos de opacidad: intencional, por los secretos comerciales; técnica, por una complejidad que supera la comprensión humana; e institucional, por la falta de transparencia sobre cómo se ponen en uso los sistemas. [2]

• Rudin (2019): Demuestra que, en muchas aplicaciones con consecuencias importantes, los modelos interpretables pueden igualar o superar el rendimiento de las cajas negras. Esto cuestiona que sea necesario sacrificar interpretabilidad para ganar exactitud. [3]

• Burrell (2016): Introduce el concepto de «opacidad epistémica»: ocurre cuando los procesos computacionales superan nuestra capacidad cognitiva para seguirlos y comprenderlos. Señala que esto es distinto del simple secretismo. [4]

El problema de la caja negra no tiene una solución sencilla. Las explicaciones post hoc pueden resultar engañosas: una explicación simplificada puede no reflejar fielmente el razonamiento real y crear una ilusión de comprensión. Algunas personas que investigan el tema sostienen que centrarse en la «explicación» puede ser un enfoque equivocado. Proponen centrarse en la posibilidad de auditar los sistemas, impugnar sus decisiones y detectar y corregir errores. No todas las decisiones requieren el mismo grado de transparencia: un sistema que recomienda películas necesita menos escrutinio que una herramienta de diagnóstico médico. El «derecho a una explicación» de las decisiones automatizadas en el Reglamento General de Protección de Datos (RGPD) de la UE sigue siendo objeto de debate jurídico y, en muchos casos, no se ha implementado técnicamente.