Explanation sets: a framework for machine learning explicability

• Autores: Rubén Rodríguez Fernández
• Directores de la Tesis: Isaac Martín de Diego (dir. tes.) , Javier Martínez Moguerza (codir. tes.)
• Lectura: En la Universidad Rey Juan Carlos ( España ) en 2023
• Idioma: español
• Tribunal Calificador de la Tesis: José Ramón Dorronsoro Ibero (presid.) , Sascha Ossowski (secret.) , Marcelino Lázaro Teja (voc.)
• Enlaces
  • Tesis en acceso abierto en:  TESEO  hdl.handle.net 
• Resumen

  • Antecedentes. El término ML, del inglés "Machine Learning" (Aprendizaje Automático), fue acuñado por Arthur Samuel en 1959. Desde entonces, han pasado más de sesenta años y el ML ha evolucionado enormemente, especialmente en la última década. Desde los primeros días del ML, cuando era principalmente un tema de investigación, hasta hoy, cuando interactuamos con sistemas de ML a diario, hemos recorrido un largo camino.

    Aunque la explicabilidad de estos sistemas de ML ha sido considerada desde su creación, hoy en día se ha vuelto más crucial que nunca debido a su integración en nuestra vida cotidiana. El ML explicable es un campo que aborda la explicabilidad de estos sistemas, con el objetivo de hacer que los modelos predictivos y sus decisiones sean comprensibles para los humanos.

    Existen varias técnicas de ML explicable, cada una con sus propios objetivos y ámbitos.

    Por ejemplo, el ámbito de una técnica puede ser global, abordando el modelo completo, o local, centrándose en una región específica de interés. Si bien la elección de la técnica depende de varios factores, el principal es el usuario, específicamente sus sesgos cognitivos y el objetivo que se busca con la explicación. Estas preferencias y los diferentes tipos de explicación han sido ampliamente estudiados en las ciencias sociales. Entre estas técnicas, destacamos los contrafácticos y semifácticos, que también tienen aplicaciones en el ML explicable. Los contrafácticos son un tipo de explicación contrastiva que compara el escenario real con un escenario hipotético en el cual el resultado esperado es diferente del original. En cambio, los semifácticos también son explicaciones contrastivas, pero en este caso, el resultado del escenario hipotético coincide con el escenario real. A pesar de la similitud en sus representaciones, tienen un efecto diferente sobre nuestra percepción de las explicaciones, y la elección entre usar contrafácticos, semifácticos o ambos, depende del contexto particular.

    Los contrafácticos y semifácticos presentan algunas limitaciones en el contexto de ML.

    Ambos tipos de explicación están principalmente definidos en un contexto de clasificación y carecen de un mecanismo estandarizado para expresar las preferencias del usuario.

    Además, los semifácticos no tienen una definición estándar, y se denotan con diferentes terminologías, lo que dificulta su adopción.

    Objetivos. El principal objetivo de esta tesis es estudiar técnicas de explicabilidad de ML, extendiendo las técnicas de contrafácticos y semifácticos centrándonos en las preferencias del usuario, y validar su utilidad y rendimiento. Para abordar este propósito se han establecido los siguientes objetivos: O1) Proporcionar una nueva metodología de explicabilidad que unifique contrafácticos y semifácticos basada en medidas de similitud, enfatizando su complementariedad, así como una metodología estándar para expresar las preferencias del usuario (conjunto factible).

    O2) Elaborar una taxonomía de las representaciones basadas en conjuntos de la literatura para contrafácticos y semifácticos.

    O3) Desarrollar un método agnóstico para extraer estas nuevas explicaciones basado en Anchor.

    O4) Desarrollar un método para extraer estas nuevas explicaciones de un Bosque Aleatorio aprovechando su estructura interna y superficie de decisión paralela a los ejes.

    O5) Validar la metodología de explicabilidad propuesta y comparar los métodos de extracción propuestos con alternativas en la literatura.

    Metodología. Esta tesis introduce el marco de explicabilidad denominado Explanation Sets con el objetivo de abordar las limitaciones presentes en contrafácticos y semifácticos.

    El enfoque de Explanation Sets define contrafácticos y semifácticos mediante medidas de similitud y proporciona a los usuarios herramientas para definir sus preferencias a través de un conjunto factible (Objetivo O1). Las definiciones basadas en medidas de similitud subrayan la complementariedad entre contrafácticos y semifácticos, motivando su uso conjunto como método explicativo. La adaptabilidad de contrafácticos y semifácticos a tareas como regresión o detección de anomalías es natural, siempre que se pueda establecer una medida de similitud en la salida del modelo. Respecto al conjunto factible, se proporcionan ejemplos de cómo diferentes preferencias de contrafácticos en la literatura pueden expresarse mediante un método genérico de construcción de conjuntos factibles.

    Asimismo, se ofrece una taxonomía de las representaciones de contrafácticos y semifácticos según si imponen restricciones sobre la información a representar y si son aproximaciones (Objetivo O2).

    Dentro del marco Explanation Sets, se propone un método llamado Anchor_ES para extraer conjuntos de contrafácticos y semifácticos basados en la técnica de explicabilidad Anchor (Objetivo O3). Anchor está orientado a generar conjuntos de semifácticos, y esta propuesta incorpora una adaptación para incluir restricciones del conjunto factible y distintas medidas de similitud. Para obtener conjuntos de contrafácticos, se añade un paspreliminar: primero, se extrae un contrafáctico utilizando técnicas de optimización bayesianas. Después, se emplea Anchor para producir una explicación para ese contrafáctico.

    Gracias a la relación complementaria entre contrafácticos y semifácticos, el resultado es un conjunto de contrafácticos.

    Se introduce un método adicional, RF-OCSE, para extraer conjuntos de contrafácticos de un Bosque Aleatorio (Objetivo O4). Esta técnica se basa en fusionar parcialmente un Bosque Aleatorio en un Árbol de Decisión, aprovechando una adaptación del método CART para construir Árboles de Decisión. Esta técnica garantiza la obtención de un conjunto de contrafácticos que incluye el contrafáctico más cercano.

    Finalmente, para evaluar el marco Explanation Sets y los métodos propuestos, se diseñan dos secciones de experimentos (Objetivo O5). La primera sección valida el marco a través de un caso de uso de regresión y otro de clasificación, empleando distintas preferencias para el conjunto factible. La segunda sección compara los métodos de extracción propuestos con técnicas alternativas para la obtención de contrafácticos y conjuntos de contrafácticos. Las métricas de evaluación incluyen el porcentaje de contrafácticos válidos, la proximidad a la muestra factual, la calidad de los conjuntos contrafácticos (cobertura y fidelidad), la estabilidad del método, y el tiempo requerido.

    Resultados. En la primera sección de experimentos, se valida el marco de explicabilidad.

    Estas pruebas nos permiten investigar el impacto de diferentes medidas de similitud y conjuntos factibles. Se observa que la implementación de medidas de similitud puede transformar el escenario en un problema de clasificación desbalanceado, y esto afecta de manera notable a la calidad de las explicaciones. Esto no representa una limitación del enfoque propuesto, pero la mayoría de los métodos y métricas de calidad están definidas para escenarios equilibrados. Otra observación interesante es que, dependiendo de la medida de similitud seleccionada, a veces no es posible explicar un modelo mediante contrafácticos. En dicho caso, la ausencia de una explicación se convierte en la explicación en sí. Además, se identifica una distinción clara en la calidad entre conjuntos de semifácticos y conjuntos de contrafácticos generados por Anchor_ES. Esta diferencia radica en que los conjuntos de contrafácticos se generan en dos pasos, y su calidad no se optimiza a lo largo del proceso, a diferencia de lo que ocurre con los semifácticos.

    En la segunda sección de experimentos, se compara la eficacia en la extracción de contrafácticos de los métodos propuestas con técnicas ya establecidas, utilizando conjuntos de datos reales. El método RF-OCSE destaca como el único enfoque basado en conjuntos que siempre genera explicaciones válidas y, en promedio, toma significativamente menos tiempo que las alternativas. En contraste, Anchor_ES logra un equilibrio entre fidelidad y cobertura, presentándose como una opción factible, particularmente cuando no se tiene acceso completo al modelo.

    Conclusiones. La presente tesis se enfoca en la explicabilidad de modelos, y en ella se presenta un nuevo marco de explicabilidad denominado Explanation Sets. Este marco permite a los usuarios adaptar las explicaciones a sus propias preferencias y presenta además dos métodos específicos para extraer dichas explicaciones. Los Explanation Sets abren las puertas para la incorporación de nuevas preferencias, no abordadas en la literatura actual, de manera unificada y estandarizada. También posibilitan la extensión de contrafácticos y semifácticos a otros campos. Además, este enfoque unificado facilita su integración en futuros métodos de extracción. En cuanto a los métodos de extracción, se ha identificado una diferencia significativa entre los métodos que aprovechan la estructura interna del modelo y los que tratan a los modelos como cajas negras. Este hallazgo destaca las ventajas del primer enfoque, siempre que sea aplicable. Finalmente, el método que transforma Bosques Aleatorios en Árboles de Decisión destaca que los Árboles de Decisión son directamente explicables solo cuando tienen una complejidad reducida.