LyricSIM: Un nuevo dataset y benchmark para la detección de similitud en letras de canciones en español

• Autores: Alejandro Benito Santos, Adrián Ghajari Espinosa, Pedro Hernández, Víctor Fresno Fernández , Salvador Ros Muñoz, Elena González-Blanco García
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 71, 2023, págs. 149-163
• Idioma: varios idiomas
• Títulos paralelos:
  • LyricSIM: A novel dataset and benchmark for similarity detection in Spanish song lyrics
• Enlaces
  • Texto completo
• Resumen
  • Multiple

    En este trabajo presentamos un nuevo conjunto de datos y benchmark orientados a la tarea de similitud semántica en letras de canciones. Nuestro conjunto de datos, originalmente formado por 2775 pares de canciones en Español, fue anotado en un experimento de anotación colectivo por 63 anotadores nativos. Después de recoger y refinar los datos para asegurar un alto grado de consenso e integridad en los datos, obtuvimos 676 pares anotados de alta calidad que fueron empleados para evaluar el rendimiento de diferentes modelos del lenguaje monolingües y multilingües pertenecientes al estado del arte. En consecuencia, obtuvimos unos resultados base que esperamos sean de utilidad a la comunidad en todas aquellas aplicaciones académicas e industriales futuras que se realicen en este contexto.

  • English

    In this paper, we present a new dataset and benchmark tailored to the task of semantic similarity in song lyrics. Our dataset, originally consisting of 2775 pairs of Spanish songs, was annotated in a collective annotation experiment by 63 native annotators. After collecting and refining the data to ensure a high degree of consensus and data integrity, we obtained 676 high-quality annotated pairs that were used to evaluate the performance of various state-of-the-art monolingual and multilingual language models. Consequently, we established baseline results that we hope will be useful to the community in all future academic and industrial applications conducted in this context.

• Referencias bibliográficas
  • Abe, K., S. Yokoi, T. Kajiwara, and K. Inui. 2022. Why is sentence similarity benchmark not predictive of applicationoriented task performance?...
  • Agerri, R. and E. Agirre. 2023. Lessons learned from the evaluation of Spanish Language Models. Procesamiento del Lenguaje Natural, 70:157–170,...
  • Agirre, E., C. Banea, C. Cardie, D. Cer, M. Diab, A. Gonzalez-Agirre, W. Guo, I. Lopez-Gazpio, M. Maritxalar, R. Mihalcea, G. Rigau, L. Uria,...
  • Agirre, E., C. Banea, C. Cardie, D. Cer, M. Diab, A. Gonzalez-Agirre, W. Guo, R. Mihalcea, G. Rigau, and J. Wiebe. 2014. SemEval-2014 task...
  • Agirre, E., D. Cer, M. Diab, and A. Gonzalez-Agirre. 2012. SemEval- 2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The...
  • Agirre, E., D. Cer, M. Diab, A. Gonzalez- Agirre, and W. Guo. 2013. *SEM 2013 shared task: Semantic Textual Similarity. In Second Joint Conference...
  • Cer, D., M. Diab, E. Agirre, I. Lopez-Gazpio, and L. Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual...
  • Chandrasekaran, D. and V. Mago. 2022. Evolution of Semantic Similarity – A Survey. ACM Computing Surveys, 54(2):1– 37, March.
  • Conneau, A., K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzm´an, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. 2020. Unsupervised...
  • da Silva, A. C. M., D. F. Silva, and R. M. Marcacini. 2020. 4mula: A multitask, multimodal, and multilingual dataset of music lyrics and audio...
  • Devlin, J., M.-W. Chang, K. Lee, and K. Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding....
  • Fell, M. 2020. Natural language processing for music information retrieval : deep analysis of lyrics structure and content. phdthesis, Universit´e...
  • Gutierrez-Fandino, A., J. Armengol- Estap, M. Pamies, J. Llop-Palao, J. Silveira-Ocampo, C. P. Carrino, C. Armentano-Oller, C. Rodriguez- Penagos,...
  • Haider, T., S. Eger, E. Kim, R. Klinger, and W. Menninghaus. 2020. PO-EMO: Conceptualization, annotation, and modeling of aesthetic emotions...
  • He, P., X. Liu, J. Gao, and W. Chen. 2021. DeBERTa: Decoding-enhanced BERT with Disentangled Attention, October. arXiv:2006.03654.
  • Krippendorff, K. 2004. Reliability in Content Analysis. Human Communication Research, 30(3):411–433.
  • Li, W., F. Qi, M. Sun, X. Yi, and J. Zhang. 2021. Ccpm: A chinese classical poetry matching dataset. arXiv preprint arXiv:2106.01979.
  • Liu, Y., M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov. 2019. RoBERTa: A Robustly Optimized BERT...
  • Reimers, N. and I. Gurevych. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, August. arXiv:1908.10084.
  • Rosa, J. D. l., E. G. Ponferrada, M. Romero, P. Villegas, P. G. d. P. Salas, and M. Grandury. 2022. BERTIN: Efficient Pre-Training of a Spanish...
  • Schuff, H., L. Vanderlyn, H. Adel, and N. T. Vu. 2023. How to do human evaluation: A brief introduction to user studies in NLP. Natural Language...
  • Wolf, T., L. Debut, V. Sanh, J. Chaumond, C. Delangue, A. Moi, P. Cistac, T. Rault, R. Louf, M. Funtowicz, J. Davison, S. Shleifer, P. von...
  • Zhang, X., M. Sun, J. Liu, and X. Li. 2021. Optimal Embedding Calibration for Symbolic Music Similarity, September.