Resumen de Medical image analysis using automatic and HbC methods

Natasa Petrovic

• español

  El análisis de imágenes médicas se ha convertido en un componente integral en la atención médica y la investigación biomédica, proporcionando conocimientos profundos sobre las estructuras anatómicas, condiciones patológicas y procesos fisiológicos. Su importancia es evidente en el diagnóstico de enfermedades, la planificación del tratamiento y la exploración científica. Este campo abarca dos tareas vitales: la segmentación y la clasificación de imágenes u objetos. El procesamiento manual de imágenes médicas es lento, lo que ha llevado a una evolución continua de algoritmos asistidos por computadora como una alternativa más eficiente. La automatización reduce el tiempo y el costo del análisis, con técnicas de aprendizaje automático (ML, en inglés Machine Learning) cada vez más aplicadas, obteniendo resultados prometedores. Se han utilizado diversos clasificadores, incluidos: vecinos más cercanos (kNN, en inglés k Nearest Neighbours), máquina de vectores de soporte (SVM, en inglés Support Vector Machine) y redes neuronales artificiales (ANN, en inglés Artificial Neural Networks), tanto para su uso en tareas de clasificación binarias y multiclase. Los clasificadores basados en bosques aleatorios (RF, en inglés Random Forest) se han utilizado para la clasificación de leucocitos en problemas con cuatro clases. El entrenamiento de cualquier modelo de aprendizaje supervisado requiere la disponibilidad de datos que estén adecuadamente etiquetados. En el contexto de los datos médicos, el proceso de etiquetado presenta una tarea que consume mucho tiempo y mano de obra para los expertos en el dominio. Al abordar este desafío, la computación basada en humanos (HBC, en inglés Human-based Computation) emerge como una solución al delegar tareas de etiquetado a individuos, posean formación formal en el dominio o no, generalmente a cambio de una pequeña compensación. Esta tesis tiene como objetivo proponer y validar un sistema automático basado en técnicas de ML y HBC para el análisis de imágenes médicas, centrándose en imágenes de frotis de sangre periférica (PBS) utilizadas para el diagnóstico de la enfermedad de células falciformes (SCD, en inglés Sickle Cell Disease). Al principio, llevamos a cabo una extensa revisión sistemática de la literatura sobre métodos de computación basada en humanos utilizados para el análisis de imágenes médicas. La búsqueda se basa en las pautas de Kitchenham y responde a preguntas de investigación definidas en un esfuerzo por cubrir adecuadamente las principales características de este campo. Como resultado, proporcionamos las principales cifras, tendencias, tecnologías y grupos objetivo, entre otros detalles abordados por los investigadores. Además, proponemos una metodología de investigación para ayudar a los investigadores en el diseño y la documentación de sus estudios. A continuación, presentamos un enfoque para analizar imágenes de PBS en individuos afectados por SCD a través de HBC de crowdsourcing con participantes no expertos en la plataforma MTurk. Para lograrlo, utilizamos un conjunto de datos etiquetado por expertos para evaluar la precisión y confiabilidad de nuestra propuesta. Por un lado, observamos que si había un consenso absoluto (55% de los casos, puntuación SDS del 92.72%) o si 4 de cada 5 personas que realizaron la tarea de clasificación estuvieron de acuerdo (26% de los casos, puntuación SDS del 92.04%), la F1 era 92.72% y 92.04%, respectivamente. Por otro lado, podemos observar que solo hubo 24 casos sin consenso entre las personas que realizaron las tareas de etiquetado y 135 casos donde hubo consenso entre 3 personas, lo que significa que estos casos deberían ser revisados por un especialista, de un total de 848 (19% de los casos). Mostramos que nuestro enfoque propuesto puede usarse para anotar conjuntos de datos de imágenes de PBS, que luego pueden usarse para entrenar métodos automatizados para el diagnóstico de SCD. Además, proponemos un enfoque para seleccionar el mejor método de clasificación y las características más importantes para el soporte al diagnóstico a través de imágenes de frotis de sangre periférica de glóbulos rojos. En nuestras muestras de casos de pacientes con SCD, que pueden generalizarse para otros estudios. Para confiar en el comportamiento del sistema propuesto, también analizamos la interpretabilidad, que es una característica de gran importancia para los sistemas automáticos con fines médicos. Extraemos el conjunto de características más importantes y entrenamos los clasificadores en ellas. Presentamos dos clasificadores con el mejor rendimiento: Random Forest y Gradient Boosting (GB, en inglés Gradient Boosting) classifier, con puntuaciones SDS del 95.05% y 95.18%, y F1 del 93.36% y 93.50%, respectivamente. Mostramos que estos clasificadores superaron a los algoritmos de última generación. Finalmente, proponemos un enfoque para seleccionar el método de clasificación basado en agrupaciónes de distintos modelos y características con el objetivo principal de lograr la generalización. La generalización garantiza que el modelo pueda manejar no vistos anteriormente, mejorando así su confiabilidad y utilidad. Este aspecto es particularmente importante en aplicaciones prácticas donde el modelo necesita adaptarse y proporcionar predicciones precisas en entornos variados o cuando se enfrenta a distribuciones de datos que pueden diferir de las encontradas durante el entrenamiento. Diseñamos una metodología para identificar las características más críticas para la clasificación, con el objetivo de reducir la complejidad y el tiempo de entrenamiento y mejorar la interpretabilidad en modelos opacos. Por último, validamos nuestros resultados utilizando un nuevo conjunto de datos, donde nuestro modelo superó a los modelos de última generación en términos de generalización. Mostramos que el conjunto de clasificadores RF y árboles aleatorios (ET, en inglés Extra Trees) tiene el mejor rendimiento en términos de generalización, con una puntuación SDS y una puntuación F1 del 90.71% y del 93.33%, respectivamente. En conclusión, esta tesis aborda la necesidad de un análisis de imágenes médicas eficiente y preciso utilizando métodos de ML y HBC. El enfoque propuesto muestra un prometedor avance en la automatización del etiquetado y análisis de imágenes médicas. A través de una experimentación y validación extensivas, hemos establecido la eficacia de nuestra metodología en la clasificación precisa de casos de SCD, superando el rendimiento de los algoritmos de última generación. Además, nuestra investigación enfatiza la importancia de la interpretabilidad y la generalización en los sistemas de análisis de imágenes médicas, concluyendo con la identificación de un método de clasificación basado en conjuntos que muestra un rendimiento superior en diversos conjuntos de datos. Este trabajo contribuye al avance del análisis de imágenes médicas, ofreciendo un marco robusto para diagnosticar SCD y allanando el camino para mejores resultados de atención médica a través de soluciones tecnológicas innovadoras.

• català

  L'anàlisi d'imatges mèdiques s'ha convertit en un component integral en la sanitat i la recerca biomèdica, proporcionant profunds coneixements sobre estructures anatòmiques, condicions patològiques i processos fisiològics. La seva importància és evident en el diagnòstic de malalties, la planificació del tractament i l'exploració científica. Aquest camp es composa de dues tasques vitals: la segmentació i la classificació d'imatges o objectes. El processament manual d'imatges mèdiques és lent, el que ha portat a la necessitat de l'evolució d'algoritmes assistits per ordinador com una alternativa més eficient i dinàmica. L'automatització redueix el temps i el cost de l'anàlisi, amb tècniques d'aprenentatge automàtic (ML, en anglès Machine Learning) que són cada vegada més aplicades, obtenint resultats prometedors. S'han utilitzat diversos classificadors, inclosos els veïns més propers (kNN, en anglès k Nearest Neighbours), la màquina de vectors de suport (SVM, en anglès Support Vector Machine) i les xarxes neuronals artificials (ANN, en anglès Artificial Neural Networks), per a tasques binàries i multiclasse. Els classificadors de boscos aleatoris (RF) s'han utilitzat per a la classificació de leucòcits en problemes que presenten quatre categoríes. Per altra banda, la creació de qualsevol model de ML supervisat requereix la disponibilitat de dades adequadament etiquetades. En el context de les dades mèdiques, el procés d'etiquetatge és una tasca que consumeix molt temps i mà d'obra d'experts en el domini de la tasca. Per abordar aquest desafiament, la computació basada en humans (HBC, en anglès Human-based Computation) emergeix com una solució que permet delegar tasques d'etiquetatge a individus, ja sigui que tinguin formació formal en el domini de la tasca o no, generalment a canvi d'una modesta compensació. Aquesta tesi té com a objectiu proposar i validar un sistema automàtic basat en tècniques de ML i HBC per a l'anàlisi d'imatges mèdiques, centrant-se en imatges de fregament de sang perifèric (PBS) utilitzades per al diagnòstic de la malaltia de cèl·lules falciformes (SCD). En primer lloc, duem a terme una extensa revisió sistemàtica de la literatura sobre mètodes de crowdsourcing i HBC utilitzats per a l'anàlisi d'imatges mèdiques. La recerca es basa en les pautes de Kitchenham i respon a preguntes de recerca definides en un esforç per a cobrir adequadament les principals característiques d'aquest camp. Com a resultat, proporcionem les principals xifres, tendències, tecnologies i grups objectiu, entre d'altres detalls abordats pels investigadors. A més, proposem una metodologia de recerca per ajudar els investigadors en el disseny i el informe dels seus estudis de cas. A continuació, presentem un mètode per analitzar imatges de PBS en individus afectats per SCD a través de HBC de crowdsourcing amb participants no experts a la plataforma Amazon MTurk, disenyada per a la realització de micro tasques. Per aconseguir-ho, utilitzem el conjunt de dades etiquetades per experts per avaluar la precisió i la confiabilitat de la nostra proposta. Per una banda, observem que si hi ha un consens absolut (55% dels casos, puntuació SDS del 92.72%) o si 4 de cada 5 etiquetadors estan d'acord (26% dels casos, puntuació SDS del 92.04%), la F1 era 92.72% i 92.04%, respectivament. D'altra banda, podem observar que només hi ha hagut 24 casos sense consens i 135 casos on hi ha hagut consens entre 3 dels 4 etiquetadors, el que significa que aquests casos han de ser revisats per un especialista, d'un total de 848 (19% dels casos). Mostrem que el nostre enfocament proposat es pot utilitzar per anotar conjunts de dades d'imatges de PBS, que després es poden utilitzar per entrenar mètodes automatitzats per al diagnòstic de SCD. A més, proposem un enfocament per seleccionar el mètode de classificació i les característiques, basat en l'estat de l'art, amb el millor rendiment per al suport diagnòstic a través d'imatges de fregament de sang perifèric de glòbuls vermells. Per confiar en el comportament del sistema proposat, també hem analitzat la interpretabilitat del nostre model, que és una característica de gran importància per als sistemes automàtics amb fins mèdics. Extraiem el conjunt de característiques més importants i entenem els classificadors en elles. Presentem dos classificadors amb millor rendiment: boscos aleatoris (RF) i del classificador basat en el augment del gradient (GB), amb valors de la mètrica SDS del95.05% i 95.18%, i F1 del 93.36% i 93.50%, respectivament. Mostrem que aquests classificadors van superar els algoritmes de última generació. Finalment, proposem un enfocament per seleccionar un nou mètode de classificació basat en agrupaments dels millors classificadors i millors característiques trobats anteriorment, amb el focus principal en assolir la generalització. La generalització garanteix que el model pugui manejar eficaçment noves dades no observades amb anterioritat, millorant així la confiabilitat i utilitat del model. Aquest aspecte és particularment important en aplicacions pràctiques on el model necessita adaptar-se i proporcionar prediccions precises en entorns variats o quan s'enfronta a distribucions de dades que poden diferir de les trobades durant el entrenament. Dissenyem una metodologia per identificar les característiques més crítiques per a la classificació, amb l'objectiu de reduir la complexitat i el temps d'entrenament i millorar la interpretabilitat en models opacs. Finalment, validem els nostres resultats utilitzant un nou conjunt de dades, on el nostre model va superar els models de última generació en termes de generalització. Mostrem que el conjunt de classificadors RF i arbres aleatoris (ET) té el millor rendiment en termes de generalització, amb una puntuació SDS i una puntuació F1 del90.71% i del 93.33%, respectivament. Aquesta tesi aborda la necessitat d'un anàlisi d'imatges mèdiques eficient i precís utilitzant mètodes de ML i HBC. El nostre enfocament proposat mostra una millora prometedora en la automatització de l'etiquetatge i anàlisi d'imatges mèdiques. A través d'una experimentació i validació extenses, hem establert l'eficàcia de la nostra metodologia en la classificació precisa de casos de SCD, superant el rendiment dels algoritmes de última generació. A més, la nostra investigació emfasitza la importància de la interpretabilitat i la generalització en els sistemes d'anàlisi d'imatges mèdiques, concloent amb la identificació d'un mètode de classificació basat en conjunts òptims que mostra un rendiment superior en diversos conjunts de dades. Aquest treball contribueix a l'avanç de l'anàlisi d'imatges mèdiques, oferint un marc robust per diagnosticar SCD i obrint el camí per a millors resultats d'atenció mèdica a través de solucions tecnològiques innovadores.

• English

  The domain of medical image analysis has become an integral component in healthcare and biomedical research, providing deep insights into anatomical structures, pathological conditions, and physiological processes. Its significance is evident in disease diagnosis, treatment planning, and scientific exploration. This field encompasses two vital tasks: image segmentation and image or object classification. The manual processing of medical images is time-consuming, prompting the continuous evolution of computer-aided algorithms as a more efficient and dynamic alternative. Automation reduces the time and cost of analysis, with machine learning (ML) techniques increasingly applied, yielding promising results. Various classifiers, including k Nearest Neighbours (kNN), Support Vector Machine (SVM), and Artificial Neural Networks (ANN), have been employed for binary and multiclass tasks. Random Forest (RF) classifiers have been used for leukocyte classification into four classes. The training of any supervised ML model requires the availability of appropriately labelled data. In the context of medical data, the process of labelling presents a time-consuming and labour-intensive task for domain experts. In addressing this challenge, human-based computation (HBC) emerges as a solution by delegating labelling tasks to individuals, whether possessing formal training in the domain or not, typically in exchange for modest compensation. This thesis aims to propose and validate an automatic system based on ML and HBC techniques for medical image analysis, focusing on Peripheral Blood Smear (PBS) images used for Sickle Cell Disease (SCD) diagnosis.

  Initially, we conducted an extensive systematic literature review (SLR) about crowdsourcing and HBC methods used for medical image analysis. The search is based on Kitchenham guidelines and answers defined research questions to properly cover the main features of this field. As a result, we provide the main figures, trends, technologies, and target groups, among other details addressed by researchers. Additionally, we propose a research methodology to assist researchers in designing and reporting of their case studies. Next, we introduce an approach for analyzing PBS images in individuals affected by SCD through crowd- sourcing HBC with non-expert participants on the MTurk platform. To achieve that, we use the expert-tagged dataset to assess the accuracy and reliability of our proposal. On the one hand, we observed that if there was absolute consensus (55% of the cases, Sickle Cell Disease Diagnosis support (SDS) score 92.72%) or if 4 out of 5 MTurkers agreed (26% of the cases, SDS-score 92.04%), and the F1-measure (F1) was 92.72% and 92.04%, respectively. On the other hand, we can observe that there were only 24 cases without a consensus and 135 cases where there was consensus among 3 MTurkers, meaning these cases should be reviewed by a specialist out of a total of 848 (19% of the cases).We show that our proposed approach can be used to annotate datasets of PBS images, which can then be used to train automated methods for diagnosing SCD.

  Furthermore, we propose an approach to select the classification method and features based on the state-ofthe- art, with the best performance for diagnostic support through PBS images of RBCs. In our case, we used samples of patients with SCD, which can be generalised for other case studies. To trust the behaviour of the proposed system, we also analysed interpretability, a feature of great significance for automatic systems for medical purposes. We trained the classifiers on an extracted set of the most important features. We present two classifiers with the best performance: Random Forest (RF) and Gradient Boosting (GB) classifier, with SDS-scores of 95.05% and 95.18%, and F1 of 93.36% and 93.50%, respectively. We show that these classifiers outperformed state-of-the-art algorithms.

  Finally, we propose an approach for selecting the optimal ensemble-based classification method and features primarily focusing on achieving generalisation. Generalisation ensures the model can effectively handle new, unseen data, thus enhancing its reliability and utility. This aspect is essential in practical applications where the model needs to adapt and provide accurate predictions in varied environments or when faced with data distributions that may differ from those encountered during training.We devise a methodology to identify the most critical features for classification, aimed at reducing complexity and training time and enhancing interpretability in opaque models. Lastly, we validate our results using a new dataset, where our model outperformed state-of-the-art models in terms of generalisation. We show that the ensemble of RF and Extra Trees (ET) classifier has the best performance in terms of generalisation, with SDS-score and F1 of 90.71% and 93.33%, respectively.