Generación y pesado de skipgrams y su aplicación al análisis de sentimientos

• Autores: Yoan Gutiérrez Vázquez , Patricio Martínez Barco , Javier Fernández Martínez
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 70, 2023, págs. 213-223
• Idioma: español
• Títulos paralelos:
  • Skipgrams Generation and Weighting and its Application to Sentiment Analysis
• Enlaces
  • Texto completo
• Resumen
  • español

    El modelado de skipgrams es una técnica para la generación de términos multi-palabra que conserva parte de la secuencialidad y flexibilidad del lenguaje. Sin embargo, en algunos casos el número de skipgrams generados puede ser excesivo a medida que se aumenta la distancia entre palabras. Además, esta distancia no suele ser tenida en cuenta a la hora de valorar los términos que se generan. En este trabajo proponemos una técnica para la generación y filtrado eficientes de skipgrams y un esquema de pesado que tiene en cuenta la distancia entre los términos, dando más importancia a aquellos más cercanos. Aplicaremos y evaluaremos estas propuestas en la tarea de análisis de sentimientos.

  • English

    Skipgram modelling is a technique for generating multi-word terms that preserves some of the sequentiality and flexibility of the language. However, in some cases the number of skipgrams generated may become excessive as the distance between words increases. Moreover, this distance is often not taken into account when evaluating the terms that are generated. In this paper we propose a technique for efficient skipgram generation and filtering, and a weighing scheme that takes into account the distance between terms, giving more importance to those closer. We will apply and evaluate these proposals in the task of sentiment analysis.

• Referencias bibliográficas
  • Chang, C.-Y., S.-J. Lee, y C.-C. Lai. 2017. Weighted word2vec based on the distance of words. En 2017 International Confe rence on Machine...
  • Church, K. W. 2017. Word2vec. Natural Language Engineering, 23(1):155–162.
  • Du, X., J. Yan, R. Zhang, y H. Zha. 2020. Cross-network skip-gram embedding for joint network alignment and link prediction. IEEE Transactions...
  • Gompel, M. v. y A. van den Bosch. 2016. Efficient n-gram, skipgram and flexgram modelling with colibri core. Journal of Open Research Software,...
  • Guthrie, D., B. Allison, W. Liu, L. Guthrie, y Y. Wilks. 2006. A closer look at skip gram modelling. En Proceedings of the fifth international...
  • Hossny, A. H., L. Mitchell, N. Lothian, y G. Osborne. 2020. Feature selection methods for event detection in twitter: A text mining approach....
  • Komninos, A. y S. Manandhar. 2016. De pendency based embeddings for sentence classification tasks. En Proceedings of the 2016 conference of...
  • Mikolov, T., K. Chen, G. Corrado, y J. Dean. 2013. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.
  • Mimno, D. y L. Thompson. 2017. The strange geometry of skip-gram with negative sampling. En Empirical Methods in Natural Language Processing.
  • Nguyen, T. H. y R. Grishman. 2016. Modeling skip-grams for event detection with convolutional neural networks. En Proceedings of the 2016...
  • Pang, B. y L. Lee. 2005. Seeing stars: Exploi ting class relationships for sentiment categorization with respect to rating scales. En Proceedings...
  • Pedregosa, F., G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blon del, P. Prettenhofer, R. Weiss, V. Du bourg, J. Vanderplas,...
  • Peng, H., J. Li, H. Yan, Q. Gong, S. Wang, L. Liu, L. Wang, y X. Ren. 2020. Dyna mic network embedding via incremental skip-gram with negative...
  • Santos, F. A. O., T. D. Bispo, H. T. Mace do, y C. Zanchettin. 2021. Morphological skip-gram: Replacing fasttext characters n-gram with morphological...
  • Shazeer, N., J. Pelemans, y C. Chelba. 2015. Sparse non-negative matrix language modeling for skip-grams. Proceedings Interspeech 2015, 2015:1428–1432.
  • Vaswani, A., N. Shazeer, N. Parmar, J. Usz koreit, L. Jones, A. N. Gómez, Ł. Kaiser, y I. Polosukhin. 2017. Attention is all you need. Advances...
  • Vega, M. G., M. C. Díaz-Galiano, M. Á. G. Cumbreras, F. M. P. del Arco, A. Montejo-Ráez, S. M. J. Zafra, E. M. Cámara, C. A. Aguilar, M. A....
  • Yadav, B. P., S. Ghate, A. Harshavardhan, G. Jhansi, K. S. Kumar, y E. Sudarshan. 2020. Text categorization performance examination using...
  • Zhao, Z., T. Liu, S. Li, B. Li, y X. Du. 2017. Ngram2vec: Learning improved word re presentations from ngram co-occurrence statistics. En...