Plataforma de exploración de la Composición Semántica apartir de Modelos de Lenguaje pre-entrenados yembeddings estáticos

• Adrián Ghajari ^[1] ; Víctor Fresno ^[1] ; Enrique Amigó ^[1]
  1. [1] 1Universidad Nacional de Educación a Distancia (UNED), España
• Localización: SEPLN-PD 2022: Annual Conference of the Spanish Association for Natural Language Processing 2022: Projects and Demonstrations / Miguel Á. Alonso (ed. lit.) , Margarita Alonso-Ramos (ed. lit.) , Carlos Gómez Rodríguez (ed. lit.) , David Vilares Calvo (ed. lit.) , Jesús Vilares (ed. lit.) , 2022, págs. 52-56
• Idioma: español
• Títulos paralelos:
  • Platform for exploring Semantic Composition from pre-trained Language Models and static embeddings
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    El crecimiento de la capacidad de procesamiento y el advenimiento del modelo Transformer han modificado elpanorama del PLN. El proceso conocido como Transferencia de Aprendizaje ha facilitado la consecución deresultados cercanos al estado-del-arte a una fracción del coste computacional. En este ámbito, este artículopresenta una aplicación cliente-servidor capaz de obtener vectores contextualizados (o estáticos) de palabrasdentro de textos y a partir de una gran cantidad de modelos pre-entrenados, realizar composición semánticapara, finalmente, visualizar en un espacio tridimensional las representaciones obtenidas y estimar su similitudsemántica; todo esto, explotando los recursos hardware disponibles.

  • English

    The computing power growth and the advent of the Transformer model have changed theNLP landscape. Transfer Learning has allowed the posibility of achieving state-of-the-art results at a fractionof the computational cost. In this scope, this work presents the development of a server-client applicationcapable of obtaining contextual and static word vectors from a wide variety of models, operate with them toachieve semantic composition to, lastly, visualize them in a 3-dimensional space and obtain semantic similarity;all of this, while exploiting the hardware resources available.