Resumen de Una propuesta para la captura e implementación de requisitos para eXplainable Artificial Intelligence alineada con la Arquitectura Dirigida por Modelos
La era de los datos ha dado pie a que la Inteligencia Artificial (IA) avance a una velocidad sin parangón tanto a nivel científico como, al mismo tiempo, su impacto en la sociedad y la ciudadanía que compone ésta. Pero, desgraciadamente, la aplicación de sistemas de IA no siempre obtiene los resultados esperados. Discriminaciones o errores no previstos son solamente algunas de dichas consecuencias negativas. Para poder solucionar dichos problemas -y mejorar así la vida de la ciudadanía- se necesita que los sistemas de IA sean interpretables y así conseguir que (i) los desarrolladores o expertos en IA puedan verificar lo que ocurre de una manera más completa -observando qué ocurre dentro del sistema y no únicamente su salida y la evaluación de ésta- antes de su aplicación real, y (ii) la ciudadanía que usa dichos sistemas pueda confiar en éstos. No obstante, muchos de los modelos de Aprendizaje Automático y aprendizaje profundo (ML y DL por sus siglas en inglés Machine Learning y Deep Learning, respectivamente), que son subáreas de la IA, presentan una falta de transparencia respecto a sus procesos de toma de decisiones, es decir, el rápido avance de la IA ha conllevado que los modelos -cada vez más complejos- presenten un carácter opaco o de caja negra que limita el use de éstos. Esto es particularmente grave cuando se observa que la mayoría de los usuarios en la sociedad no tienen experiencia en estas áreas pese a estar sujetos en su día a día a los resultados de los modelos de IA. Para poder solucionar este problema surgió el campo de la explicabilidad de la IA (XAI, por eXplainable Artificial Intelligence}). De esta forma, gracias a la aplicación de XAI es posible generar explicaciones -que se incluirán en interfaces explicables entendibles- y así se satisfará con información de cómo el sistema de IA ha tomado sus decisiones. Sin embargo, es un campo aún no explorado lo suficiente y que presenta varias carencias. En primer lugar, existe una carencia de conceptualizaciones y formalismos para ayudar al análisis y selección de técnicas de XAI, lo que imprescindible debido a: por un lado, por la complejidad de dicha tarea debido a todas las técnicas existentes y los aspectos que afectan a cuáles son -más- apropiadas; por otro lado, la falta de desarrolladores o expertos en XAI conlleva que, generalmente, las tareas XAI sean ejecutadas por desarrolladores o expertos en IA, quienes -a menudo- carecen de un conocimiento exhaustivo del área de la explicabilidad. Además, incluso en los escenarios donde XAI se aplica con resultados positivos, normalmente no se realiza una evaluación teniendo en cuenta (i) la fiabilidad y precisión del sistema en su conjunto, y (ii) los destinatarios objetivo de la explicabilidad y su nivel de entendimiento. Es decir, a menudo se aplica XAI para poder verificar que el sistema de IA funciona correctamente (en concreto, esto ocurre en los casos en los que el objetivo de XAI es de desarrollo y no en otras cuestiones como las del dominio), pero si no se evalúa la técnica de explicabilidad aplicada, no se resuelve el problema, sino que se traslada a un plano distinto. Debido a ello, pese a que los formalismos matemáticos ligados -en ocasiones- a la técnica XAI en cuestión y su explicación generada pueden satisfacer a los desarrolladores o expertos XAI en algunos escenarios, (i) la inevitable implicación de usuarios no expertos en IA y XAI, y (ii) la falta de criterios para comparar unas explicaciones con otras -y, de esta forma, las técnicas que las han generado- motivan la necesidad de un consenso sobre cómo evaluar la explicabilidad. De esta forma, diseñar dicho consenso es uno de los principales objetivos del campo de XAI. Además, éste debe ser aplicable en los distintos escenarios de IA donde XAI se incorpora con independencia del caso de estudio, y cuantificable de manera holística para así permitir la comparación entre las distintas explicaciones y técnicas. Motivado por ello, en la presente tesis doctoral hemos incluido como núcleo la investigación realizada para satisfacer distintos objetivos relevantes en el área actual de XAI. En concreto, afrontamos el reto de: (i) facilitar la captura y análisis de los usuarios implicados en XAI junto con sus objetivos y necesidades; (ii) facilitar la selección de las técnicas XAI más apropiadas; (iii) desarrollar un enfoque para el diseño y la implementación de XAI que tenga en cuenta quienes son los usuarios finales directamente desde sus requisitos (es decir, derivar de (i) a (ii)); (iv) analizar y evaluar la justicia y los sesgos de la IA a través de la explicabilidad; y (v) definir un consenso para la evaluación holística de las explicaciones generadas por las técnicas XAI permitiendo la comparación entre éstas. Además, para satisfacer dichos objetivos (respectivamente), presentamos una solución compuesta por: (i) un modelo de requisitos para la captura de los objetivos y las necesidades usuarios implicados en procesos de IA donde se incorpora XAI.; (ii) un modelo conceptual para la selección de técnicas XAI en la integración de la explicabilidad en los escenarios de IA; (iii) una derivación entre ambos modelos para llegar a la selección de técnicas de explicabilidad desde los requisitos XAI; (iv) un proceso para el análisis de la equidad en los datos gracias a la generación de explicabilidad en escenarios de IA basado en un algoritmo recursivo -incluyendo métricas de equidad para la evaluación de ésta-; y (v) presentamos una propuesta para la evaluación de la explicabilidad desde una perspectiva MDD alineada con los estándares ISO 25012 y 25024. Para validar las propuestas de esta tesis doctoral y verificar si se satisfacen o no los objetivos previamente definidos, se han aplicado en distintos casos de estudio en los que se destaca el proyecto de investigación BALLADEER enfocado en el diagnóstico y tratamiento del Trastorno del Déficit de Atención e Hiperactividad o TDAH a través de la IA. Como resultado, se ha podido comprobar como a través de los modelos presentados la aplicación de XAI ha llevado a diseñar interfaces explicables de manera exitosa. Por otra parte, el proceso presentado ha arrojado luz sobre cómo de sesgado son los modelos de ML aplicados en los distintos conjuntos de datos incluidos. Finalmente, la propuesta para evaluar XAI ha servido para poder comparar y concluir qué aproximación explicable funcionaba de manera más eficiente atendiendo a todas las dimensiones y los usuarios que se han implicado en el escenario de IA en cuestión. Así pues, se han satisfecho los objetivos establecidos a la vez que se han abierto líneas de investigación futura.
