Métodos de interpretabilidad de modelos

Los métodos de interpretabilidad de modelos son herramientas que muestran cómo toma decisiones un sistema de IA, como un traductor que convierte cálculos complejos en razones claras que una persona puede entender. Estas técnicas permiten mirar dentro de un algoritmo de «caja negra», como se suele llamar a estos sistemas, para mostrar qué factores influyeron en una predicción; por ejemplo, que el rechazo de un préstamo se debió principalmente a los ingresos y no al código postal. Cuando puedes ver el razonamiento de una IA, puedes detectar errores, comprobar si trata a las personas de forma justa y decidir si confías en el sistema.

Fíjate en esto: si una decisión no se puede explicar, tampoco se pueden exigir responsabilidades por ella.

Los métodos de interpretabilidad funcionan de dos maneras: diseñan modelos transparentes desde cero o examinan modelos opacos que ya existen para entender su comportamiento. Los métodos globales explican cómo funciona un modelo en conjunto, por ejemplo, qué características importan más en todas sus predicciones. Los métodos locales explican decisiones individuales, como por qué se aprobó o rechazó tu solicitud de crédito concreta.

Entre los enfoques habituales está LIME, que crea aproximaciones simplificadas al comprobar cómo cambian las predicciones cuando modificas ligeramente los datos de entrada. Otro es SHAP, que asigna a cada característica de entrada una puntuación que representa su contribución a una predicción concreta. La visualización de la importancia de las características muestra a qué variables da más peso el modelo. Las explicaciones contrafactuales indican los cambios mínimos necesarios para cambiar una decisión; por ejemplo: «Tus ingresos tendrían que ser $5,000 más altos para cumplir los requisitos».

En la atención médica, la interpretabilidad permite a los médicos comprobar que una IA señala a pacientes por factores de riesgo legítimos y no por patrones engañosos. En la concesión de préstamos, los organismos reguladores pueden comprobar si factores prohibidos, como la raza, influyen indirectamente en los resultados a través de variables correlacionadas. En la contratación, los candidatos pueden entender por qué quedaron descartados y recibir comentarios que les ayuden a actuar.

Todo tiene un costo: los modelos más sencillos e interpretables suelen perder exactitud frente a los sistemas complejos de aprendizaje profundo. Pero, en decisiones con consecuencias importantes, la transparencia puede importar más que el rendimiento. La disyuntiva está entre aceptar predicciones de caja negra que son un poco mejores en promedio y contar con sistemas que podamos cuestionar, impugnar y mejorar.

La investigación sobre interpretabilidad abarca clasificaciones que distinguen entre modelos intrínsecamente interpretables, transparentes por diseño, como los árboles de decisión, y métodos post hoc, que explican modelos ya entrenados. Los estudios muestran que la exactitud y la interpretabilidad suelen competir: Rudin (2019) sostiene que, para decisiones con consecuencias importantes, se deben usar modelos interpretables en lugar de explicar cajas negras, ya que ofrecen un rendimiento competitivo y mantienen la transparencia por diseño [1]. LIME, presentado por Ribeiro y sus colegas (2016), utiliza aproximaciones lineales locales para explicar predicciones individuales mediante pequeñas modificaciones de las entradas y la observación de los cambios en las salidas [2]. SHAP, desarrollado por Lundberg y Lee (2017), ofrece un marco unificado basado en la teoría de juegos que atribuye los resultados de las predicciones a las características de entrada y garantiza propiedades de consistencia [3]. Miller (2019) destaca que las explicaciones eficaces deben tener un carácter social y adaptarse a lo que los usuarios realmente necesitan saber, en lugar de ser técnicamente exhaustivas [4].

• Arrieta (2020): Esta revisión identifica las principales clasificaciones y dificultades de la inteligencia artificial explicable (XAI). Concluye que ningún método funciona en todos los ámbitos y que la elección depende de los conocimientos del usuario y del contexto de la decisión [5].
• Doshi-Velez y Kim (2017): Proponen evaluar la interpretabilidad según el desempeño en tareas, midiendo si las personas realmente toman mejores decisiones con la explicación [6].
• Molnar (2024): Obra de referencia completa y de código abierto que muestra que la interpretabilidad intrínseca, mediante modelos como los modelos aditivos generalizados, suele superar en fiabilidad a las explicaciones post hoc [7].

La interpretabilidad no tiene una medida universal: lo que resulta claro para un científico de datos puede confundir a un especialista en el tema. Las explicaciones post hoc pueden ser engañosas: las aproximaciones de LIME pueden no representar fielmente el modelo real, y calcular los valores SHAP puede requerir muchos recursos computacionales en sistemas complejos. Algunas personas sostienen que la interpretabilidad es un indicador indirecto de lo que realmente buscamos: confianza, equidad y rendición de cuentas. Las explicaciones también pueden generar una falsa confianza y hacer que los usuarios confíen en los sistemas más de lo justificado. Además, los modelos completamente interpretables pueden tener limitaciones inherentes en los patrones que pueden captar. Esto puede impedir que alcancen un mayor rendimiento en problemas donde pequeñas mejoras de exactitud importan enormemente. Por último, nada garantiza que los modelos interpretables sean justos: la discriminación transparente sigue siendo discriminación.