Resumen de Learning to learn: a novel approach on transfer learning methods

Eva Blanco-Mallo

• español

  El exito del aprendizaje autom ´ atico es innegable e influye en casi todos los aspectos ´ de nuestra vida cotidiana. La aparicion de modelos cada vez m ´ as poderosos ha demos- ´ trado su potencial para lograr un rendimiento notablemente similar al del ser humano en un amplio rango de tareas. Sin embargo, su dependencia de grandes conjuntos de datos etiquetados de alta calidad sigue siendo una limitacion cr ´ ´ıtica, sobre todo en dominios en los que tales datos son escasos o costosos de obtener. El aprendizaje por transferencia aborda este reto permitiendo la reutilizacion del conocimiento entre modelos, ampliando ´ el alcance del aprendizaje automatico a escenarios con datos limitados y manteniendo un ´ rendimiento solido. Adem ´ as, permite dise ´ nar estrategias que mejoran la escalabilidad y ˜ la eficacia de los modelos actuales a la hora de abordar problemas complejos. Esta tesis ofrece una vision global del aprendizaje por transferencia, explorando sus principios fun- ´ damentales, metodolog´ıas y aplicaciones en diversos sectores. Tambien introduce solu- ´ ciones innovadoras adaptadas para abordar retos cr´ıticos en escenarios con disponibilidad de datos restringida. Abordamos el problema de la representacion m ´ ´ınima de clases proponiendo un enfoque centrado en la definicion previa de caracter ´ ´ısticas relevantes que se aplica tanto al analisis de sentimientos con detecci ´ on de rese ´ nas extremas como a los sis- ˜ temas de recomendacion personalizada basados en im ´ agenes. Presentamos un m ´ etodo de ´ resumen de opiniones que realiza la extraccion de aspectos utilizando ´ unicamente etique- ´ tas de valoracion de rese ´ nas textuales, evitando el uso de datos etiquetados espec ˜ ´ıficos del dominio. Por ultimo, proponemos un enfoque h ´ ´ıbrido guiado por pseudo-etiquetas para la adaptacion no supervisada de dominios, que mejora la invariabilidad de caracter ´ ´ısticas entre dominios a la vez que define mejor las diferencias entre clases en el dominio de destino.

• galego

  O exito da aprendizaxe autom ´ atica ´ e innegable e infl ´ ue en case todos os aspectos da ´ nosa vida cotia. A aparici ´ on de modelos cada vez m ´ ais poderosos demostrou o seu poten- ´ cial para lograr un rendemento notablemente similar ao do ser humano nun amplo rango de tarefas. Con todo, a sua dependencia de grandes conxuntos de datos etiquetados de alta ´ calidade segue sendo unha limitacion cr ´ ´ıtica, sobre todo en dominios nos que tales datos son escasos ou custosos de obter. A aprendizaxe por transferencia aborda este reto permitindo a reutilizacion do co ´ necemento entre modelos, ampliando o alcance da aprendizaxe ˜ automatica a escenarios con datos limitados e mantendo un rendemento s ´ olido. Ademais, ´ permite desenar estratexias que melloran a escalabilidade e a eficacia dos modelos ac- ˜ tuais a hora de abordar problemas complexos. Esta tese ofrece unha visi ´ on global da ´ aprendizaxe por transferencia, explorando os seus principios fundamentais, metodolox´ıas e aplicacions en diversos sectores. Tam ´ en introduce soluci ´ ons innovadoras adaptadas para ´ abordar retos cr´ıticos en escenarios con disponibilidade de datos restrinxida. Abordamos ˜ o problema da representacion m ´ ´ınima de clases proponendo un enfoque centrado na defi- ˜ nicion previa de caracter ´ ´ısticas relevantes que se aplica tanto a an ´ alise de sentimentos con ´ deteccion de comentarios extremos como aos sistemas de recomendaci ´ on personalizada ´ baseados en imaxes. Presentamos un metodo de resumo de opini ´ ons que realiza a extrac- ´ cion de aspectos utilizando unicamente etiquetas de valoraci ´ on de comentarios textuais, ´ evitando o uso de datos etiquetados espec´ıficos do dominio. Por ultimo, propo ´ nemos un ˜ enfoque h´ıbrido guiado por pseudo-etiquetas para a adaptacion non supervisada de do- ´ minios, que mellora a invariabilidade de caracter´ısticas entre dominios a vez que define ´ mellor as diferenzas entre clases no dominio de destino.

• English

  The success of machine learning is undeniable and influences almost every aspect of our daily lives. The emergence of increasingly powerful models has demonstrated the potential to achieve remarkably human-like performance across a wide range of tasks.

  However, its reliance on large, high-quality labeled datasets remains a critical limitation, particularly in domains where such data is scarce or costly to obtain. Transfer learning addresses this challenge by enabling knowledge reuse across models, extending the reach of machine learning into data-limited scenarios while maintaining robust performance.

  Furthermore, it enables the design of strategies that improve the scalability and efficiency of current models when dealing with complex problems. This thesis provides a comprehensive overview of transfer learning, exploring its fundamental principles, influential methodologies, and applications across various sectors. It also introduces innovative solutions tailored to address critical challenges in scenarios with restricted data availability.

  We address the problem of minimal class representation by proposing an approach focused on the prior definition of relevant features that applies to both sentiment analysis with extreme review detection and image-based personalized recommender systems. We present a method for text summarization that performs aspect extraction using only textual review rating labels, avoiding the use of domain-specific labeled data. Finally, we propose a pseudo-label guided hybrid approach for unsupervised domain adaptation, which enhances feature invariance across domains while further defining inter-class differences in the target domain.