Resumen de Soft computing and artificial intelligence for interpretable analysis of dermoscopic images

Lidia Talavera Martínez

• español

  En esta tesis aplicamos técnicas de aprendizaje profundo a imágenes dermoscopicas de lesiones cutáneas. La inteligencia artificial, y más concretamente el aprendizaje profundo, han tenido un gran impacto en la comunidad de la visión por computador en muchos campos. En dermatología, la inteligencia artificial ha logrado una precisión al nivel del dermatólogo para la clasificación del cáncer de piel. Aunque el melanoma sigue siendo una enfermedad incurable, la tasa de supervivencia y la eficacia del tratamiento aumentan en gran medida si se detecta a tiempo. Este trabajo pretende proporcionar herramientas automáticas para ayudar a los médicos a evaluar la malignidad de una lesión cutánea, entre otras cosas: 1. Se diseña un modelo codificador-decodificador para la detección y posterior restauración de los píxeles que representan vello en las imágenes dermoscópicas. La existencia de vello en estas imágenes puede ocluir patrones relevantes y dificultar la evaluación de la lesión. Un test estadístico constata la superioridad de nuestro modelo en ocho de las nueve medidas de similitud utilizadas cuando se compara con los métodos del estado del arte. Además de los buenos resultados cuantitativos en imágenes con vello simulado, se han obtenido excelentes resultados visuales en imágenes con vello real.

  2. Se introduce un enfoque de aprendizaje profundo para clasificar las lesiones de la piel como “totalmente asimétricas”, “simétricas con respecto a un eje”, o “simétricas con respecto a dos ejes”, debido a la importancia clínica de la asimetría para evaluar la malignidad de las lesiones. En comparación con los métodos tradicionales, nuestro método propuesto los supera ampliamente, incluso cuando la tarea se simplifica a un problema binario, y se beneficia de no requerir la segmentación de la lesión. Sin embargo, no generaliza bien cuando se le presentan datos de otra base de datos dermatológica.

  3. Por último, se han construido dos sistemas de aprendizaje multitarea para proporcionar más contexto al especialista a la hora de tomar una decisión y confiar en nuestro sistema. El primero se centra en segmentar simultáneamente la lesión cutánea y el vello presente en la imagen, así como en realizar el inpainting de las regiones de este vello. El segundo modelo combina las tareas de segmentación de la lesión; y su clasificación según su simetría; su diagnóstico; y su malignidad. En ambos casos, también hemos estudiado cómo influyen las diferentes combinaciones de estas tareas. Encontramos que en algunos casos las tareas se benefician del entorno multitarea, pero en otros, como el inpainting o la clasificación de la simetría, los resultados del rendimiento multitarea son inferiores a su rendimiento en solitario. En particular, las tareas estrechamente relacionadas (p.ej. el diagnóstico y la clasificación de la malignidad) tienden a mejorar su rendimiento cuando se aprenden simultáneamente. Por último, encontramos que la adición de tareas relacionadas actúa como una regularización del aprendizaje, mejorando en algunos casos la velocidad de convergencia.

  Además, presentamos dos conjuntos de datos. El primero consiste en imágenes convello simulado, mientras que el segundo contiene las anotaciones de tres expertos sobre la simetría de la lesión. En ambos casos, utilizamos imágenes extraídas de conjuntos de datos públicos.

• català

  En aquesta tesi, apliquem tècniques d’aprenentatge profund a imatges dermoscòpiques de lesions cutànies. La intel·ligència artificial, i més concretament l’aprenentatge profund, han tingut un gran impacte en la comunitat de la visió per computador en molts de camps. En dermatologia, la intel·ligència artificial ha aconseguit una precisió a nivell dels dermatòlegs per la classificació del càncer de pell. Tot i que el melanoma segueixi sent una malaltia incurable, la taxa de supervivència i l’eficàcia del tractament augmenten de forma considerable si es detecta a temps. Aquest treball pretén proporcionar eines automàtiques per ajudar als metges a avaluar la malignitat d’una lesió cutània, entre altres coses: 1. Es dissenya un model codificador-decodificador per a la detecció i posterior restauració dels píxels de pèl de les imatges dermoscòpiques. L’existència de pèls en aquestes imatges pot ocloure patrons rellevants i dificultar l’avaluació de la lesió. Un test estadístic constata la superioritat del nostre model en vuit de les nou mesures de similitud utilitzades quan es compara amb els mètodes de l’estat de l’art. A més dels bons resultats quantitatius en imatges amb pèl simulat, s’han obtingut excel·lents resultats visuals en imatges amb pèl real.

  2. S’introdueix un enfocament d’aprenentatge profund per classificar les lesions de la pell com “totalment asimètriques”, “simètriques respecte d’un eix”, o “simètriques respecte de dos eixos”, a causa de la importància clínica de l’asimetria per avaluar la malignitat de les lesions. En comparació amb els mètodes tradicionals, el nostre mètode proposat els supera àmpliament, fins i tot quan la tasca es simplifica a un problema binari. A més es beneficia de no necessitar la segmentació de la lesió. No obstant això, no generalitza bé quan s’aplica sobre una altra base de dades dermatològica.

  3. Finalment, s’han construït dos sistemes d’aprenentatge multitasca per proporcionar més context a l’especialista a l’hora de prendre una decisió i confiar en el nostre istema. El primer es centra a segmentar simultàniament la lesió cutània i els pèls presents a la imatge, així com realitzar l’inpainting de les regions d’aquests pèls. El segon model combina les tasques de segmentació de la lesió; i la seva classificació segons la seva simetria; el seu diagnòstic; i la seva malignitat. En tots dos casos, també hem estudiat com influeixen les diferents combinacions d’aquestes tasques. Trobem que en alguns casos les tasques es beneficien de l’entorn multitasca, però en altres, com l’inpainting o la classificació de simetria, els resultats del rendiment multitasca són inferiors al seu rendiment en solitari. A més, les tasques estretament relacionades (p.ex. el diagnòstic i la classificació de la malignitat) tendeixen a millorar el seu rendiment quan s’aprenen simultàniament. Finalment, trobem que l’addició de tasques relacionades actua com una regularització de l’aprenentatge, millorant en alguns casos la velocitat de convergència.

  A més, presentem dos conjunts de dades. El primer consisteix en imatges amb pèl simulat, mentre que el segon conté les anotacions de tres experts sobre la simetria de la lesió. En tots dos casos, utilitzem imatges extretes de conjunts de dades públiques.

• English

  In this thesis, we apply deep learning techniques to dermoscopic images of skin lesions. Artificial intelligence, and more specifically deep learning, have had a major impact on the computer vision community in many fields. In dermatology, artificial intelligence has achieved dermatologist-level accuracy for skin cancer classification. Although melanoma remains an incurable disease, the survival rate and the efficacy of treatment increase greatly if detected early. This work aims to provide automatic tools to help physicians assess the malignancy of a skin lesion, including: 1. An encoder-decoder model for the detection and posterior restoration of hair’s pixels from dermoscopic images is designed. The existence of hairs in these images may occlude relevant patterns and hinder the lesion assessment. A statistical test states the superiority of our model in eight of the nine similarity measures when compared to state-of-the-art methods. In addition to good quantitative results on images with simulated hair, excellent visual results have been obtained on images with real hair.

  2. A deep learning approach to classify the skin lesions as “fully asymmetric”, “symmetric with respect to one axis”, or “symmetric with respect to two axes” is introduced, due to the clinical significance of the asymmetry in assessing the malignancy of lesions. Compared to traditional methods, our proposed method largely outperforms them, even when the task is simplified to a binary problem, and benefits from not requiring the lesion segmentation. However, it has not been able to generalize well when presented with data from another dermatological database.

  3. Finally, two multitask learning systems have been built to provide more context for the specialist to make a decision and rely on our system. The first one focuses on simultaneously segmenting the skin lesion and the hairs present in the image, as well as performing the inpainting of these hair’s regions. The second model combines the tasks of lesion segmentation; and its classification according to their symmetry; their diagnosis; and their malignancy. In both cases, we have also studied how different combinations of these tasks influence each other. We found that in some cases the tasks benefited from the multitask environment but in others such as inpainting or symmetry classification, the multitask performance results are lower than their solo performance. in particular, closely related tasks (e.g. diagnosis and malignancy classification) tend to improve their performance when learned simultaneously. Finally, we found that adding related tasks acts as a learning regularization, improving in some cases the speed of convergence.

  Also, we introduce two datasets. The first one consists of images with simulated hair, while the second one, contains the annotations of three experts regarding the symmetry of lesion. In both cases, we use images extracted from public datasets.