Resumen de Plataforma de exploración de la Composición Semántica apartir de Modelos de Lenguaje pre-entrenados yembeddings estáticos

Adrián Ghajari Espinosa, Víctor Fresno Fernández , Enrique Amigó

• español

  El crecimiento de la capacidad de procesamiento y el advenimiento del modelo Transformer han modificado elpanorama del PLN. El proceso conocido como Transferencia de Aprendizaje ha facilitado la consecución deresultados cercanos al estado-del-arte a una fracción del coste computacional. En este ámbito, este artículopresenta una aplicación cliente-servidor capaz de obtener vectores contextualizados (o estáticos) de palabrasdentro de textos y a partir de una gran cantidad de modelos pre-entrenados, realizar composición semánticapara, finalmente, visualizar en un espacio tridimensional las representaciones obtenidas y estimar su similitudsemántica; todo esto, explotando los recursos hardware disponibles.

• English

  The computing power growth and the advent of the Transformer model have changed theNLP landscape. Transfer Learning has allowed the posibility of achieving state-of-the-art results at a fractionof the computational cost. In this scope, this work presents the development of a server-client applicationcapable of obtaining contextual and static word vectors from a wide variety of models, operate with them toachieve semantic composition to, lastly, visualize them in a 3-dimensional space and obtain semantic similarity;all of this, while exploiting the hardware resources available.