Identifying Media Bias beyond Words: Using Automatic Identification of Persuasive Techniques for Media Bias Detection

Abstract

Detecting media bias is a challenging task due to the complexity and ambiguity of language. Current approaches are limited in their ability to generalise across regions and styles of journalism. This paper proposes a new approach that focusses on detecting rhetorical linguistic techniques rather than just analysing words or contextual representations. We compare three different systems based on different techniques for identifying media bias, including a lexical-based system, a language transformers-based system, and a cascade transformers system that relies on persuasive techniques detection. We have evaluated these systems using a Ukraine crisis news dataset and splitting it by according to the country to generate training and test sets, i.e. different sets for each country. The results of the cascade system outperforms by at least a 6% the other approaches in identifying media bias when evaluating with different countries setup. Our results suggest that models capable of detecting rhetorical and persuasive linguistic techniques are necessary to generalise media bias effectively.

Detectar sesgo mediático es una tarea desafiante debido a la ambigüedad del lenguaje. Los enfoques actuales tienen dificultades para generalizar entre regiones y estilos periodísticos. Proponemos un enfoque centrado en la detección de técnicas lingüísticas en lugar de analizar palabras o representaciones contextuales. Comparamos tres sistemas diferentes basados en diferentes técnicas para identificar el sesgo de los medios: un sistema basado en léxico, un sistema basado en transformers y un sistema de transformers en cascada capaz de detectar técnicas persuasivas. Hemos evaluado estos sistemas utilizando un conjunto de datos de noticias de la guerra de Ucrania. Los resultados del sistema en cascada superan en al menos un 6% a los demás enfoques a la hora de identificar el sesgo de los medios de diferentes países. Nuestros resultados sugieren que los modelos capaces de detectar técnicas lingüísticas retoricas y persuasivas son necesarios para generalizar la detección de sesgo de los medios de manera efectiva.