Resumen de FallacyES-Political: A Multiclass Dataset of Fallacies in Spanish Political Debates

Fermín Cruz Mata , Fernando Enríquez de Salamanca Ros , Francisco Javier Ortega Rodríguez , José Antonio Troyano Jiménez

• español

  Las falacias son frecuentes en el discurso político, moldeando la opinión pública e influyendo en la toma de decisiones. La detección y clasificación automática de falacias es una tarea desafiante, especialmente en idiomas distintos del inglés debido a la escasez de recursos. En este estudio, presentamos FallacyES-Political, un novedoso conjunto de falacias extraídas de 19 debates electorales celebrados en España a lo largo de tres décadas. El conjunto de datos incluye casi 2.000 falacias categorizadas en 16 tipos. Para evaluar la utilidad del conjunto de datos, realizamos una evaluación comparativa de modelos de lenguaje de ´ultima generación (LLMs) en clasificación zero-shot. Los resultados destacan la complejidad de la clasificación de falacias y las limitaciones de los LLMs actuales para comprender argumentaciones dependientes del contexto. Además, demostramos las ventajas de ajustar un modelo compacto y específico para el dominio, en lugar de depender de LLMs de propósito general, logrando mejoras significativas en la precisión de la clasificación con un enfoque más sostenible.

• English

  Fallacies are pervasive in political discourse, shaping public opinion and influencing decision-making. Automatic detection and classification of fallacies is a challenging task, especially in non-English languages due to limited resources. In this study, we present FallacyES-Political, a novel dataset of fallacies extracted from 19 electoral debates held in Spain over three decades. The dataset comprises nearly 2,000 fallacies categorized into 16 types. To evaluate the dataset’s utility, we conducted a comprehensive benchmarking of state-of-the-art Large Language Models (LLMs) in zero-shot classification. The results highlight the complexity of fallacy classification and the limitations of current LLMs in understanding contextdependent argumentation. Furthermore, we demonstrate the advantages of finetuning a compact, domain-specific model over relying on general-purpose LLMs, achieving notable improvements in classification accuracy with a more sustainable approach.