Gradient Boosting Extensions

• Autores: Seyedsaman Emani
• Directores de la Tesis: Gonzalo Martínez-Muñoz (dir. tes.)
• Lectura: En la Universidad Autónoma de Madrid ( España ) en 2024
• Idioma: inglés
• Número de páginas: 152
• Títulos paralelos:
  • Extensiones de Gradient Boosting
• Enlaces
  • Tesis en acceso abierto en: Biblos-e Archivo
• Resumen
  • español

    El uso de grandes base de datos en situaciones del mundo real ha llevado al desarrollo de algoritmos inteligentes que pueden extraer información importante. Estas grandes cantidades de datos incluyen base de datos en formato tabular o de imagen que se pueden usar para múltiples aplicaciones en clasificación, regresión, clustering, anomaly detection, etc. Estas tareas cubren diferentes modelos de aprendizaje automático, incluidos métodos supervisados, no supervisados y semisupervisados. Esta tesis está motivada por la necesidad de crear algoritmos inteligentes diseñados específicamente para los datos tabulares y de imágenes supervisados.

    En esta tesis, nos centramos en aprovechar el algoritmo Gradient Boosting (GB) para desarrollar modelos de aprendizaje automático diseñados para aplicaciones supervisadas. Exploramos la aplicación de GB en el entrenamiento de Neural Networks (NN). Además, investigamos las capacidades inherentes de GB para optimizarlas y lograr una mayor precisión. Esta tesis también aborda problemas de múltiples salidas y múltiples clases a través de diversos enfoques de GB.

    La primera contribución es la introducción de un enfoque novedoso que emplea GB para entrenar los parámetros de redes someras, profundas y convolucionales de manera iterativa. Los extensos experimentos llevados a cabo muestran que logra un nivel muy competitivo de precisión de generalización en comparación con las redes entrenadas con optimizadores estándar.

    La segunda contribución de esta tesis amplía enfoques anteriores para abordar la regresión de múltiples resultados y la clasificación de múltiples clases. Esta extensión se caracteriza por una base de datos completa de experimentos realizados específicamente para escenarios de regresión de múltiples salidas y clasificación de múltiples clases. Estos experimentos exploran y validan la efectividad de la metodología propuesta con respecto al Gradient Boosting estándar y otros modelos de salida única.

    Esta tesis está organizada como un compendio de artículos. Cada artículo explora los desafíos encontrados y analiza las razones que influyeron en nuestras elecciones para el modelo desarrollado final. Los artículos explican cómo se implementó cada modelo y los algoritmos utilizados, con una base de datos exhaustiva de experimentos realizados en varios datos para demostrar la efectividad de los modelos utilizando diferentes métricas

  • English

    The use of large datasets in real-world situations has led to the development of smart algorithms that can extract important information. These large amounts of data include datasets in tabular or image formats, among others, that can be used for multiple applications such as classifcation, regression, clustering, anomaly detection, etc. These tasks cover diferent machine learning models, including supervised, unsupervised, and semi-supervised methods. This thesis is motivated by the need to create intelligent algorithms specifcally designed for supervised tabular and image datasets.

    In this thesis, we focus on leveraging the Gradient Boosting (GB) algorithm for developing innovative machine learning models designed for supervised applications. We explore the application of GB in training Neural Network (NN). Additionally, we investigate the inherent capabilities of GB to optimize for more precision. This thesis also addresses multi-output and multi-class problems through diverse GB approaches.

    The frst contribution is the introduction of a novel approach that employs GB to train the parameters of shallow, deep, and convolutional NNs in an iterative manner. The extensive experiments carried out show that it achieves a very competitive level of generalization accuracy compared to networks trained with standard solvers.

    The second contribution of this thesis extends earlier approaches to address multi-output regression and multi-class classifcation. This extension is characterized by a comprehensive set of experiments conducted specifcally for multi-output regression and multi-class classifcation scenarios. These experiments explore and validate the efectiveness of the proposed methodology with respect to standard Gradient Boosting and single-output counterparts.

    This thesis is organized as a compendium of papers. Each paper explores the challenges encountered and discusses the reasons that infuenced our choices for the fnal developed model. The papers explain how each model was implemented and the algorithms used, with an exhaustive set of experiments conducted on various datasets to demonstrate the efectiveness of the models using diferent metrics