FallacyES-Political: A Multiclass Dataset of Fallacies in Spanish Political Debates

• Autores: Fermín Cruz Mata , Fernando Enríquez de Salamanca Ros , Francisco Javier Ortega Rodríguez , José Antonio Troyano Jiménez
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 74, 2025, págs. 127-138
• Idioma: inglés
• Títulos paralelos:
  • FallacyES-Political: Un Dataset Multiclase de Falacias en Debates Políticos en Español
• Enlaces
  • Texto completo
• Resumen
  • español

    Las falacias son frecuentes en el discurso político, moldeando la opinión pública e influyendo en la toma de decisiones. La detección y clasificación automática de falacias es una tarea desafiante, especialmente en idiomas distintos del inglés debido a la escasez de recursos. En este estudio, presentamos FallacyES-Political, un novedoso conjunto de falacias extraídas de 19 debates electorales celebrados en España a lo largo de tres décadas. El conjunto de datos incluye casi 2.000 falacias categorizadas en 16 tipos. Para evaluar la utilidad del conjunto de datos, realizamos una evaluación comparativa de modelos de lenguaje de ´ultima generación (LLMs) en clasificación zero-shot. Los resultados destacan la complejidad de la clasificación de falacias y las limitaciones de los LLMs actuales para comprender argumentaciones dependientes del contexto. Además, demostramos las ventajas de ajustar un modelo compacto y específico para el dominio, en lugar de depender de LLMs de propósito general, logrando mejoras significativas en la precisión de la clasificación con un enfoque más sostenible.

  • English

    Fallacies are pervasive in political discourse, shaping public opinion and influencing decision-making. Automatic detection and classification of fallacies is a challenging task, especially in non-English languages due to limited resources. In this study, we present FallacyES-Political, a novel dataset of fallacies extracted from 19 electoral debates held in Spain over three decades. The dataset comprises nearly 2,000 fallacies categorized into 16 types. To evaluate the dataset’s utility, we conducted a comprehensive benchmarking of state-of-the-art Large Language Models (LLMs) in zero-shot classification. The results highlight the complexity of fallacy classification and the limitations of current LLMs in understanding contextdependent argumentation. Furthermore, we demonstrate the advantages of finetuning a compact, domain-specific model over relying on general-purpose LLMs, achieving notable improvements in classification accuracy with a more sustainable approach.

• Referencias bibliográficas
  • Bain, M., J. Huh, T. Han, and A. Zisserman. 2023. Whisperx: Time-accurate speech transcription of long-form audio. INTERSPEECH 2023.
  • Benitez, K. N., N. A. Castro-Sánchez, H. J. Salazar, and G. Bel-Enguix. 2022. Cor pus de falacias por apelación a las emociones: una aproximación...
  • Chiang, W.-L., L. Zheng, Y. Sheng, A. N. Angelopoulos, T. Li, D. Li, H. Zhang, B. Zhu, M. Jordan, J. E. Gonzalez, et al. 2024. Chatbot arena:...
  • Clark, K., M.-T. Luong, Q. V. Le, and C. D. Manning. 2020. Electra: Pretraining text encoders as discriminators rather than generators. arXiv...
  • Cruz, F. L., J. A. Troyano, F. Enríquez, and F. J. Ortega. 2023. Detección y clasificación de falacias prototípicas y espontáneas en español....
  • Da San Martino, G., S. Yu, A. Barrón-Cedeno, R. Petrov, and P. Nakov. 2019. Fine-grained analysis of propaganda in news article. In Proceedings...
  • Devlin, J., M.-W. Chang, K. Lee, and K. Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding....
  • Fernández Barge, X. 2021. Un análisis crítico del uso de falacias y mecanismos de refuerzo y atenuación en el discurso de los lideres políticos...
  • Goffredo, P., M. Chaves, S. Villata, and E. Cabrio. 2023. Argument-based detection and classification of fallacies in political debates. In...
  • Goffredo, P., S. Haddadan, V. Vorakitphan, E. Cabrio, and S. Villata. 2022. Fallacious argument classification in political debates. In IJCAI,...
  • Gutiérrez Fandiño, A., J. Armengol Estapé, M. Pàmies, J. Llop Palao, J. Silveira Ocampo, C. Pio Carrino, C. Armentano Oller, C. Rodriguez...
  • Habernal, I., R. Hannemann, C. Pollak, C. Klamm, P. Pauli, and I. Gurevych. 2017. Argotario: Computational argumentation meets serious games....
  • Habernal, I., P. Pauli, and I. Gurevych. 2018. Adapting serious game for fallacious argumentation to german: Pitfalls, insights, and best...
  • Habernal, I., H. Wachsmuth, I. Gurevych, and B. Stein. 2018. Before name-calling: Dynamics and triggers of ad hominem fallacies in web argumentation....
  • Jin, Z., A. Lalwani, T. Vaidhya, X. Shen, Y. Ding, Z. Lyu, M. Sachan, R. Mihalcea, and B. Sch¨olkopf. 2022. Logical fallacy detection. arXiv...
  • Rosso, P., F. Casacuberta, J. Gonzalo, L. Plaza, J. Carrillo, E. Amigó, M. F. Verdejo, M. Taulé, M. Salamó, and M. A. Martí. 2020. Mismis:...
  • Sahai, S. Y., O. Balalau, and R. Horincar. 2021. Breaking down the invisible wall of informal fallacies in online discussions. In ACL-IJCNLP...
  • Sánchez García, F. J. 2010. Paralogismos y sofismas del discurso político español. la falacia política en un corpus de debates parlamentarios....
  • Sepúlveda-Torres, R., A. Bonet-Jover, I. Diab, I. Guillén-Pacho, I. Cabrera-de Castro, C. Badenes-Olmedo, E. Saquete, M. T. Martín-Valdivia,...
  • Tindale, C. W. 2007. Fallacies and argument appraisal. Cambridge University Press.
  • Vallecillo-Rodríguez, M. E., M. V. Cantero-Romero, I. Cabrera-de Castro, L. A. Ureña-López, A. Montejo-Ráez, and M. T. Martín-Valdivia. 2024....