Resumen de Amose²: una metodología de caracterización del error en segmentación de objetos amorfos. La segmentación de hiperintensidades cerebrales como caso de estudio
- español
El proceso de diseño de un sistema de segmentación de objetos suele seguir un patrón iterativo e incremental de desarrollo, donde los expertos analizan, en la etapa de evaluación, los errores cometidos por el sistema con el objetivo de conocerlos y proponer soluciones para el refinamiento del sistema. Aunque existe un conjunto de métricas bien definidas para evaluar la calidad de la segmentación de manera automática, la evaluación del error con el objetivo de encontrar su causa ha sido siempre una tarea muy artesanal. Por ello, son necesarios nuevos métodos y herramientas para facilitar la evaluación de un sistema durante su diseño que sean explicables, flexibles, interactivos, analíticos y contextuales.
En este trabajo, con el objetivo de descubrir nuevo conocimiento del error de una forma automatizada, se propone una metodología para la caracterización del error en segmentación de objetos amorfos bajo la hipótesis de que existe un número reducido de patrones que explican una buena parte de los errores. Esta metodología, denominada AMOSE2, propone modelar el error por objetos individuales y realiza una descripción detallada de ellos mediante un vector de características para cada objeto de error, lo que permite realizar un análisis más profundo de los errores de segmentación mediante técnicas de clustering y de detección de outliers propias de la IA. Además, se introducen modelos de conocimiento mediante ontologías para describir las características visuo-espaciales (reutilizables entre dominios) y de contexto (propias del dominio) de los objetos segmentados y de su error. Se distinguen dos tipos de características según el origen de la información, las generadas a partir de información externa al sistema de segmentación y las generadas internamente por el sistema de segmentación (que solo son accesibles en los sistemas de caja gris). La descripción ontológica del conocimiento permite mejorar la manipulación de las variables, facilitar la interacción con el experto o realizar una selección de características basada tanto en medidas estadísticas como semánticas. Los patrones de error detectados son analizados por los diseñadores del sistema con el objetivo de seleccionar los más relevantes, los cuales permitirán orientar los esfuerzos en el siguiente ciclo de refinamiento en la etapa de diseño. Se ha implementado un prototipo siguiendo las definiciones de la metodología, el cual se compone de una herramienta para la descripción y análisis de los errores en segmentación (AMOSE2 analysis) y una herramienta de exploración interactiva de resultados (AMOSE2 web report). Para su validación y ejemplo de uso, se ha utilizado un problema real, la segmentación de manchas de sustancia blanca cerebral en imágenes de resonancia magnética. Se han evaluado tres sistemas sobre cinco datasets distintos para mostrar los dos formas de uso de la metodología AMOSE2: el análisis individual, donde se compara la propuesta de un sistema de visión por computador (SVC) respecto a una referencia dada, y el análisis comparado, donde se compara, además, respecto a otro sistema de segmentación. Los hallazgos de patrones de error relevantes han sido de utilidad para el refinamiento del sistema de segmentación AMOS-2D.
PALABRAS CLAVE: Diseño de sistemas cognitivos en visión artificial, caracterización del error en segmentación, reconocimiento de patrones, IA explicable, detección de agrupaciones de error, detección de anomalías de error, visualización de datos, objetos amorfos, lesiones de sustancia blanca cerebral.
- English
The design process of an object segmentation system usually follows an iterative and incremental development pattern where experts analyse, in the evaluation stage, the errors made by the system, in order to know them and propose solutions for the refinement of the system. Although there is a set of well-defined metrics to evaluate the quality of the segmentation in an automatic way, the evaluation of the error with the objective of finding its cause has always been a very handcrafted task. Therefore, new methods and tools are needed to facilitate the evaluation of a system during its design, which must be explainable, flexible, interactive, analytical and contextual.
In this work, with the aim of discovering new knowledge of the error in an automated way, a methodology is proposed for the characterization of the error in segmentation of amorphous objects under the hypothesis that there are a reduced number of patterns that explain a good part of the errors. This methodology, named AMOSE2, proposes to model the error by individual objects and performs a detailed description of them by means of a vector of characteristics for each error object, which allows a deeper analysis of the segmentation errors using artificial intelligence clustering and outlier detection techniques. In addition, knowledge models are introduced using ontologies to describe the visuo-spatial (reusable across domains) and contextual (domain specific) features of the segmented objects and their errors. Two types of features are distinguished according to the origin of the information, those generated from external information to the segmentation system and those generated internally by the segmentation system (only accessible in grey box systems). Their ontological description allows to improve the manipulation of variables, to facilitate the interaction with the expert or to make a feature selection based on both statistical and semantic measures. The detected error patterns are analysed by the system in order to select the most relevant ones, which will allow to guide the efforts in the next refinement cycle in the design stage.
A prototype has been implemented following the definitions of the methodology, consisting of an error object segmentation description and analysis tool (AMOSE2 analysis) and a tool for interactive exploration of results (AMOSE2 web report). For its validation and example of use, a real problem has been used, the segmentation of cerebral white matter hyperintensities in magnetic resonance images. Three systems have been evaluated on five different datasets to show the two ways of using the AMOSE2 methodology: the individual analysis, where a proposed segmentation system is compared with respect to a given reference segmentation, and the comparative analysis, where it is as well compared with respect to another segmentation system. The findings of relevant error patterns have been useful for refining the AMOS-2D segmentation system.
