Efficient Computing for Model Optimization in Heterogeneous Platforms

• Autores: Javier León Palomares
• Directores de la Tesis: Alberto Guillén Perales (codir. tes.) , Juan José Escobar Pérez (codir. tes.)
• Lectura: En la Universidad de Granada ( España ) en 2026
• Idioma: inglés
• ISBN: 9791370151898
• Número de páginas: 168
• Enlaces
  • Tesis en acceso abierto en: DIGIBUG
• Resumen
  • español

    El aprendizaje automático y el aprendizaje profundo, aunque existen de forma teórica desde hace décadas, están viviendo en los últimos años un renacimiento debido a los grandes avances en hardware y otras tecnologías adyancentes. Dichos avances posibilitan su aplicación a muchos problemas en los que antes estas técnicas eran consideradas inviables por su alto coste. Esto ha traído consigo nuevos retos, entre los cuales están la optimización de modelos para cada problema concreto o la gestión de la alta carga computacional que el uso de estas técnicas suele conllevar. En esta tesis se han abordado ambos: se ha aplicado aprendizaje automático y aprendizaje profundo en dos problemas distintos (clasificación de patrones de electroencefalografía y clasificación de partículas subatómicas), y se ha programado una metaheurística clásica de optimización—la búsqueda tabú—con soporte para computación paralela y distribuida. El problema de clasificación de electroencefalografía tiene como características destacadas la alta dimensionalidad de los datos y el (en comparación) reducido número de muestras de entrenamiento. Esta combinación, llamada maldición de la dimensionalidad, requiere optimizar los modelos de forma que no memoricen simplemente los datos sin aprender a generalizar el conocimiento que en ellos se contiene. Tras evaluar la complejidad de la tarea, se entrenaron modelos de aprendizaje profundo (redes neuronales) de distintos tipos; algunos de ellos lograron resultados competitivos con el estado del arte en los conjuntos de datos utilizados. Además, se evaluó el desempeño de los modelos en términos de eficiencia energética y temporal, hallándose que en muchos casos modelos más pequeños (y por tanto menos costosos de entrenar) tenían una calidad equivalente a otros más grandes del mismo tipo. Esta parte de la investigación abarcó un artículo de revista y dos artículos de congreso internacional. Para el segundo problema, de clasificación de partículas subatómicas, se partió de cero: si bien en el caso anterior ya existía literatura previa aplicando machine learning a los mismos conjuntos de datos, en este caso no era así. Por ello, se analizó la naturaleza de los datos y se formuló una tarea de clasificación consistente en separar fotones de electrones. Tras proponer varias representaciones de datos viables, se seleccionó la mejor y se utilizó para entrenar y optimizar modelos de machine learning; esto se llevó a cabo prestando atención no solo a la precisión de clasificación sino también al coste energético y de tiempo. Los resultados y conclusiones de todo este proceso fueron publicados en un segundo artículo de revista. El último objetivo, una implementación paralela y distribuida de la búsqueda tabú, se llevó a cabo por etapas y teniendo en cuenta principios modernos de desarrollo y despliegue. Para cumplir esta segunda parte del objetivo, se creó una secuencia de automatizaciones para comprobar la calidad del código, construir la aplicación mediante containerización, y dejarla lista para el despliegue en el entorno experimental. Por su parte, en el apartado algorítmico, la primera versión comenzó teniendo la capacidad de entrenar varios modelos al mismo tiempo mediante paralelismo dentro de una misma máquina. En la segunda versión, se añadió una arquitectura distribuida basada en paso de mensajes para poder aprovechar ese paralelismo en un número arbitrario de máquinas interconectadas. En la tercera y última versión hasta el momento, se modificó el algoritmo para dar soporte a múltiples trayectorias de búsqueda concurrentes, lo que abre la puerta a poder crear sofisticadas formas de colaboración entre ellas a través de un componente coordinador de la búsqueda. Como funcionalidad complementaria, se implementó la medición de energía a través de un dispositivo externo, la creación automatizada de gráficos sobre la ejecución, el guardado a disco de los resultados (incluyendo el modelo final entrenado), y la subida automatizada a un repositorio de GitHub. La primera versión de la aplicación fue utilizada en el artículo de revista sobre clasificación de partículas subatómicas.

  • English

    Although the theoretical foundations of machine learning and deep learning can be traced back several decades, it was not until the last few years that using them in many real-world problems became feasible. Owing to the relatively recent advances in hardware, the high computational costs associated with many of the most powerful models are no longer an insurmountable obstacle for practical use. However, these newfound opportunities have brought along a wide array of challenges. Among them, the two addressed in this thesis: the optimization of models for each particular problem, and the management of the heavy workloads often produced by these techniques. With regard to the first one, two problems were tackled through machine learning and deep learning models: EEG pattern classification, and subatomic particle classification; with regard to the second one, a parallel and distributed implementation of the classic tabu search metaheuristic was written. Typically, datasets for EEG classification are characterized by high dimensionality and a relative scarcity of training samples. This is known as the curse of dimensionality. In this setting, models with powerful learning capabilities tend to overfit the data instead of extracting generalizable knowledge from it, and measures must be taken against this phenomenon. After examining the existing literature on the particular datasets that were used, it was decided to train deep learning models (neural networks) for the task, some of which obtained state-of-the-art results. In addition, the performance was also evaluated in terms of energy consumption and training time; the analysis revealed that shallower neural networks often presented similar classification accuracy to deeper ones of the same type. This research resulted in one journal paper and two international conference papers. The second problem—classification of subatomic particles—was tackled from scratch: as opposed to the previous one, there was no previous work or literature on the dataset to refer to. Because of this, the data was analyzed and a classification task focusing on photons and electrons was formulated. After proposing several viable dataset representations, the best one was empirically chosen and later used to train and optimize machine learning models. The choices made in this process were informed not only by classification accuracy but also by energy and time costs. This piece of research was published as another journal paper. The last challenge addressed in this thesis, as stated above, was the implementation of a parallel and distributed tabu search application. This was done in incremental steps and applying modern development and deployment principles. To accomplish the latter, an automated pipeline was created consisting of a code quality checking step, a software containerization step, and a delivery and deployment step. On the application side, the first version of the tabu search algorithm had single-machine parallelism functionality in order to train multiple models concurrently. In the second version, a distributed architecture based on message passing was implemented, which allowed to extend the parallelism of the first version to multiple interconnected computing nodes. For the third and last version as of now, the algorithm itself was modified to support multiple concurrent search trajectories, which opens the door to creating sophisticated forms of collaboration among them through a dedicated search director component. Complementary functionality also present in the application included: energy measuring by means of an external device, automated creation of plots to visualize execution metrics, persistence of results to disk (including the final trained model), and automated upload of application output to a designated GitHub repository. The first version of this algorithm was used for the journal paper on classification of subatomic particles.