Overview of RefutES at IberLEF 2024: Automatic Generation of Counter Speech in Spanish

• Autores: M. Estrella Vallecillo Rodríguez, M.ª Victoria Cantero Romero, Isabel Cabrera de Castro, Luis Alfonso Ureña López , Arturo Montejo Ráez , María Teresa Martín Valdivia
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 73, 2024, págs. 449-459
• Idioma: inglés
• Títulos paralelos:
  • Resumen de la tarea RefutES en IberLEF 2024: Generación automática de refutaciones en español
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo presenta la tarea RefutES 2024, organizada en IberLEF 2024 junto a la 40ª Conferencia Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural (SEPLN 2024). El objetivo principal de RefutES es promover la investigación sobre la generación automática de contranarrativas en español. La generación de contranarrativas es una nueva estrategia desarrollada para combatir los mensajes de odio en redes sociales que consiste en la generación de una respuesta que niega el mensaje offensivo. En esta tarea compartida, los participantes deben generar una respuesta a mensajes de odio que están dirigidos a diferentes colectivos en español. Esta respuesta debe de ser argumentada, respetuosa, no ofensiva y contender información específica y veraz. Además, los participantes tienen que presentar mediciones de las emisiones de carbono de sus sistemas, haciendo hincapié en la necesidad de prácticas de PNL sostenibles. En esta primera edición, un total de 6 equipos se registration en la tarea, 1 subió los resultados de las ejecuciones realizadas sobre los datos de test y 1 escribió el artículo con la descripción de su sistema.

  • English

    This paper presents an overview of RefutES 2024, organized at IberLEF 2024 and co-located with the 40th International Conference of the Spanish Society for Natural Language Processing (SEPLN 2024). The main purpose of RefutES is to promote research on the automatic generation of counter speech in Spanish. Counter speech generation is a new strategy developed to combat hate speech on social media that involves generating a response that negates the offensive message. In this shared task, participants must be able to generate a response to hate speech messages directed at various targets of offense in Spanish. The response should be reasoned, respectful, non-offensive, and contain specific and truthful information. Moreover, we asked participants to submit measurements of carbon emissions for their systems, emphasizing the need for sustainable NLP practices. In this first edition, a total of 6 teams signed up to participate in the task, 1 submitted official runs on the test data, and 1 submitted system description papers.

• Referencias bibliográficas
  • Benesch, S. 2014. Countering dangerous speech: New ideas for genocide prevention. URL: https://ssrn.com/abstract=3686876.
  • Bengoetxea, J., Y.-L. Chung, M. Guerini, and R. Agerri. 2024. Basque and Spanish counter narrative generation: Data creation and evaluation....
  • Bonaldi, H., Y.-L. Chung, G. Abercrombie, and M. Guerini. 2024. Nlp for counter-speech against hate: A survey and how-to guide.
  • Chiruzzo, L., S. M. Jiménez-Zafra, and F. Rangel. 2024. Overview of IberLEF 2024: Natural Language Processing Challenges for Spanish and other...
  • Conneau, A., K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. 2019. Unsupervised...
  • Courty, B., V. Schmidt, S. Luccioni, Goyal-Kamal, MarionCoutarel, B. Feld, J. Lecourt, LiamConnell, A. Saboni, Inimaz, supatomic, M. Léval,...
  • Dettmers, T., A. Pagnoni, A. Holtzman, and L. Zettlemoyer. 2023. QLoRA: Efficient Finetuning of Quantized LLMs, May. arXiv:2305.14314 [cs].
  • Fanton, M., H. Bonaldi, S. S. Tekiroğ lu, and M. Guerini. 2021. Human-in-the-loop for data collection: a multi-target counter narrative dataset...
  • Furman, D., P. Torres, J. Rodríguez, D. Letzen, M. Martinez, and L. Alemany. 2023. High-quality argumentative information in low resources...
  • Halim, S. M., S. Irtiza, Y. Hu, L. Khan, and B. Thuraisingham. 2023. Wokegpt: Improving counterspeech generation against online hate speech...
  • Mathew, B., H. Tharad, S. Rajgaria, P. Singhania, S. K. Maity, P. Goyal, and A. Mukherjee. 2018. Thou shalt not hate: Countering online hate...
  • Qian, J., A. Bethke, Y. Liu, E. Belding, and W. Y. Wang. 2019. A benchmark dataset for learning to intervene in online hate speech. In Proceedings...
  • Schieb, C. and M. Preuss. 2016. Governing hate speech by means of counterspeech on facebook. In 66th ica annual conference, at fukuoka, japan,...
  • Tekiroglu, S., H. Bonaldi, M. Fanton, and M. Guerini. 2022. Using pre-trained language models for producing counter narratives against hate...
  • Touvron, H., L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, D. Bikel, L. Blecher,...
  • Vallecillo-Rodríguez, M.-E., M.-V. Cantero-Romero, I. Cabrera-De-Castro, A. Montejo-Ráez, and M.-T. Martín-Valdivia. 2024. CONAN-MT-SP: A...
  • Vallecillo-Rodríguez, M. E., A. Montejo-Raéz, and M. T. Martín-Valdivia. 2023. Automatic counter-narrative generation for hate speech in spanish....
  • Zhang, T., V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi. 2019. BERTScore: Evaluating Text Generation with BERT. September.
  • Zhao, W., M. Peyrard, F. Liu, Y. Gao, C. M. Meyer, and S. Eger. 2019. Mover-Score: Text Generation Evaluating with Contextualized Embeddings...
  • Zubiaga, I., A. Soroa, and R. Agerri. 2024. Ixa at refutes 2024: Leveraging language models for counter narrative generation. In IberLEF (Working...