Optimizing Few-Shot Learning Through a Consistent Retrieval Extraction System for Hate Speech Detection

• Autores: Ronghao Pan, José Antonio García Díaz, Rafael Valencia García
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 74, 2025, págs. 241-252
• Idioma: inglés
• Títulos paralelos:
  • Optimización de Few-Shot Learning mediante un Sistema de Extracción Coherente para la Detección Del Discurso de Odio
• Enlaces
  • Texto completo
• Resumen
  • español

    El discurso de odio es un fenómeno presente en redes sociales que supone un grave riesgo para la cohesión social y la seguridad en Internet. Su detección es fundamental para mitigar estos efectos, pero los enfoques basados en ajustar grandes modelos del lenguaje son costosos y propensos al sobreajuste debido a los sesgos de los datos de entrenamiento. El in-context learning, que utiliza modelos preentrenados con instrucciones y ejemplos durante la inferencia, es una alternativa prometedora. Sin embargo, el in-context learning carece de estrategias claras para seleccionar qué ejemplos son relevantes. En este trabajo se propone un sistema de selección inteligente para seleccionar ejemplos basado en diversidad e incertidumbre, mejorando los resultados de elegir estos ejemplos al azar o un baseline de evaluar el modelo sin ejemplos. Nuestra propuesta se ha evaluado en cuatro corpus de discurso de odio en español y los resultados mejoran consistentemente, destacando los modelos Gemma-2-2b y Gemma-2-9b. En casos específicos, el conocimiento preentrenado de ciertos modelos beneficia al aprendizaje sin ejemplos, pero, en general, nuestra propuesta demuestra ser una solución eficaz y adaptable.

  • English

    Hate speech is a growing phenomenon on social media, posing significant risks to social cohesion and online safety. Its detection is crucial to mitigate these effects, but fine-tuning-based approaches are costly and prone to overfitting due to biases in the training data. In-context learning, which uses pre-trained models with instructions and examples during inference, is emerging as a promising alternative, although it lacks clear strategies for selecting relevant examples. This work proposes an intelligent example selection system for Few-Shot Learning (FSL) based on diversity and uncertainty metrics, which optimizes recognition compared to Zero-Shot Learning (ZSL) and Random FSL methods. Our approach was evaluated on four Spanish hate speech datasets. This strategy consistently improves the results, with the Gemma-2-2b and Gemma-2-9b models excelling across different datasets. In specific cases, the pre-trained knowledge of certain models benefits ZSL, but overall our proposal proves to be an effective and adaptable solution.

• Referencias bibliográficas
  • Alkhamissi, B., F. Ladhak, S. Iyer, V. Stoyanov, Z. Kozareva, X. Li, P. Fung, L. Mathias, A. Celikyilmaz, and M. Diab. 2022. Token: Task decomposition...
  • Ariza-Casabona, A., W. Schmeisser-Nieto, M. Nofre, M. Taulé, E. Amigó, B. Chulvi, and P. Rosso. 2022. Overview of detests at iberlef 2022:...
  • Basile, V., C. Bosco, E. Fersini, D. Nozza, V. Patti, F. M. Rangel Pardo, P. Rosso, and M. Sanguinetti. 2019. SemEval-2019 task 5: Multilingual...
  • Beltagy, I., M. E. Peters, and A. Cohan. 2020. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150.
  • Brown, T. B. 2020. Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
  • Cahyawijaya, S., H. Lovenia, and P. Fung. 2024. Llms are few-shot in-context low-resource language learners. arXiv preprint arXiv:2403.16512.
  • Castaño-Pulgarín, S. A., N. Suárez-Betancur, L. M. T. Vega, and H. M. H. López. 2021. Internet, social media and online hate speech. systematic...
  • Dvornik, N., C. Schmid, and J. Mairal. 2020. Selecting relevant features from a multidomain representation for few-shot classification. In...
  • García-Díaz, J. A., S. M. Jiménez-Zafra, M. A. García-Cumbreras, and R. Valencia-García. 2023. Evaluating feature combination strategies for...
  • García-Díaz, J. A., R. Pan, and R. Valencia-García. 2023. Leveraging zero and fewshot learning for enhanced model generality in hate speech...
  • Ge, Y., Y. Guo, S. Das, M. A. Al-Garadi, and A. Sarker. 2023. Few-shot learning for medical text: A review of advances, trends, and opportunities....
  • Gómez-Adorno, H., G. Bel-Enguix, H. Calvo, S.-L. Ojeda-Trueba, S. T. Andersen, J. Vásquez, T. Alcántara, M. Soto, and C. Macias. 2024. Overview...
  • Gutiérrez-Fandiño, A., J. Armengol-Estapé, M. Pàmies, J. Llop-Palao, J. Silveira-Ocampo, C. P. Carrino, C. Armentano-Oller, C. Rodriguez-...
  • Ikotun, A. M., A. E. Ezugwu, L. Abualigah, B. Abuhaija, and J. Heming. 2023. Kmeans clustering algorithms: A comprehensive review, variants...
  • Jahan, M. S. and M. Oussalah. 2023. A systematic review of hate speech automatic detection using natural language processing. Neurocomputing,...
  • Jiang, A. Q., A. Sablayrolles, A. Mensch, C. Bamford, D. S. Chaplot, D. d. l. Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, et al....
  • Lu, J., S. Wang, X. Zhang, Y. Hao, and X. He. 2023. Semantic-based selection, synthesis, and supervision for few-shot learning. In Proceedings...
  • Mozafari, M., R. Farahbakhsh, and N. Crespi. 2022. Cross-lingual fewshot hate speech and offensive language detection using meta learning....
  • Pan, R., J. Antonio García-Díaz, and R. Valencia-García. 2024. Comparing fine-tuning, zero and few-shot strategies with large language models...
  • Plaza, L., J. Carrillo-de Albornoz, R. Morante, J. Gonzalo, E. Amigó, D. Spina, and P. Rosso. 2023. Overview of exist 2023: sexism identification...
  • Plaza, L., J. Carrillo-de Albornoz, V. Ruiz, A. Maeso, B. Chulvi, P. Rosso, E. Amigó, J. Gonzalo, R. Morante, and D. Spina. 2024. Overview...
  • Plaza del Arco, F. M., D. Nozza, and D. Hovy. 2023. Respectful or toxic? Using zero-shot learning with language models to detect hate speech....
  • Rodríguez-Sánchez, F., J. C. de Albornoz, L. Plaza, J. Gonzalo, P. Rosso, M. Comet, and T. Donoso. 2022. Overview of exist 2022: sexism identification...
  • Rodríguez-Sanchez, F. J., J. C. de Albornoz, L. Plaza, J. Gonzalo, P. Rosso, M. Comet, and T. Donoso. 2021. Overview of exist 2021: sexism...
  • Team, G., T. Mesnard, C. Hardin, R. Dadashi, S. Bhupatiraju, S. Pathak, L. Sifre, M. Rivi`ere, M. S. Kale, J. Love, et al. 2024a. Gemma:...
  • Team, G., M. Riviere, S. Pathak, P. G. Sessa, C. Hardin, S. Bhupatiraju, L. Hussenot, T. Mesnard, B. Shahriari, A. Ramé, et al. 2024b. Gemma...
  • Touvron, H., T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozi`ere, N. Goyal, E. Hambro, F. Azhar, et al. 2023. Llama:...
  • Wang, Y., Q. Yao, J. T. Kwok, and L. M. Ni. 2020. Generalizing from a few examples: A survey on few-shot learning. ACM computing surveys (csur),...
  • Zhang, Z. and L. Luo. 2019. Hate speech detection: A solved problem? the challenging case of long tail on twitter. Semantic Web, 10(5):925–945.