Inteligencia artificial explicable: iluminando los modelos de caja negra

1. Introducción

La “Inteligencia Artificial Explicable” (IAE o XAI) se ha convertido en un área de investigación fundamental en la vanguardia de la inteligencia artificial (IA). A medida que los modelos de IA, especialmente los basados en técnicas de aprendizaje profundo, han alcanzado un nivel sorprendente de eficacia en una amplia variedad de aplicaciones, se ha vuelto cada vez más evidente que estos modelos a menudo funcionan como “cajas negras”. En otras palabras, aunque pueden producir resultados notables, la comprensión de cómo llegan a esas conclusiones se vuelve un desafío interesante.

2. Inteligencia artificial

La inteligencia artificial explicable es un área de gran importancia debido a la necesidad de garantizar la transparencia, la confiabilidad y la seguridad en la toma de decisiones que afectan la vida de las personas.

• Inteligencia artificial explicable

La Inteligencia Artificial Explicable (XAI por sus siglas en inglés) se refiere al desarrollo de sistemas y modelos de IA que puedan ofrecer explicaciones transparentes y comprensibles de sus decisiones, acciones y predicciones. La XAI es un aspecto crítico de la investigación y el desarrollo de la IA, especialmente en aplicaciones en las que los usuarios humanos necesitan confiar, interpretar y tomar decisiones basadas en información generada por la IA. Su objetivo es salvar la brecha entre la naturaleza de “caja negra” de muchos algoritmos de IA y la necesidad de transparencia y responsabilidad en los procesos de toma de decisiones (Confalonieri, 2021).

• Aspectos clave

La inteligencia artificial explicable en el contexto biomédico se refiere a la aplicación de técnicas de inteligencia artificial (IA) que permiten comprender y explicar de manera clara y comprensible cómo se toman las decisiones por parte de los modelos de IA en aplicaciones relacionadas con la salud y la biomedicina. Algunos aspectos claves que ayudan a entender la relevancia de esta nueva aproximación son (Vilone, 2021):

– Transparencia

La XAI pretende hacer más transparentes los sistemas de IA, revelando el funcionamiento interno del modelo a los usuarios humanos. Esta transparencia puede ayudar a los usuarios a entender cómo se toman las decisiones, aumentando la confianza en el sistema de IA.

– Interpretabilidad

La interpretabilidad se centra en hacer que los modelos de IA y sus resultados sean más interpretables y comprensibles para los no expertos. Esto implica presentar la información de forma que sea fácil de comprender para los humanos.

-Causalidad

La XAI explora las relaciones causales entre las características de entrada y las predicciones de salida. Comprender los vínculos causales puede proporcionar una visión más profunda de por qué se tomó una decisión concreta.

-Explicaciones locales y globales

XAI puede proporcionar explicaciones tanto a nivel local como global. Las explicaciones locales explican por qué se ha tomado una decisión específica en un caso concreto, mientras que las explicaciones globales ofrecen información sobre el comportamiento general del sistema de IA.

– Diseño centrado en el ser humano

La XAI hace hincapié en el diseño de sistemas de IA teniendo en cuenta a los usuarios humanos. Su objetivo es crear explicaciones que sean significativas, procesables y relevantes para los usuarios, facilitando la toma de decisiones informadas.

-Agnóstico en cuanto a modelos

Las técnicas de XAI suelen ser agnósticas en cuanto a modelos, lo que significa que pueden aplicarse a varios modelos de aprendizaje automático, como redes neuronales profundas, árboles de decisión y otros. Esta flexibilidad la hace aplicable a una amplia gama de aplicaciones de IA.

-IA ética y responsable

La XAI desempeña un papel crucial a la hora de garantizar que los sistemas de IA se utilicen de forma responsable y ética. Las explicaciones transparentes pueden ayudar a identificar sesgos, errores o injusticias en los procesos de toma de decisiones de la IA.

Referencias:

• Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., & Yang, G. Z. (2019). XAI—Explainable artificial intelligence. Science robotics, 4(37), eaay7120.
• Confalonieri, R., Coba, L., Wagner, B., & Besold, T. R. (2021). A historical perspective of explainable Artificial Intelligence. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(1), e1391.
• Vilone, G., & Longo, L. (2021). Notions of explainability and evaluation approaches for explainable artificial intelligence. Information Fusion, 76, 89-106.

Autor: Estefanía Aguirre Zapata, Ingeniera Biomédica, Magister en Automatización y Control Industrial, y candidata a Doctora en Ingeniería de Sistemas de Control. Modelación y simulación biomédica.