Sarcasm Detection with BERT

Abstract

Sarcasm is often used to humorously criticize something or hurt someone's feelings. Humans often have difficulty in recognizing sarcastic comments since we say the opposite of what we really mean. Thus, automatic sarcasm detection in textual data is one of the most challenging tasks in Natural Language Processing (NLP). It has also become a relevant research area due to its importance in the improvement of sentiment analysis. In this work, we explore several deep learning models such as Bidirectional Long Short-Term Memory (BiLSTM) and Bidirectional Encoder Representations from Transformers (BERT) to address the task of sarcasm detection. While most research has been conducted using social media data, we evaluate our models using a news headlines dataset. To the best of our knowledge, this is the first study that applies BERT to detect sarcasm in texts that do not come from social media. Experiment results show that the BERT-based approach overcomes the state-of-the-art on this type of dataset.

El sarcasmo se usa con frecuencia para realizar crítica o burla indirecta, a veces hiriendo los sentimientos de alguien. Algunas veces, las personas tienen dificultades para reconocer los comentarios sarcásticos, ya que decimos lo contrario de lo que realmente queremos decir. Por lo tanto, la detección automática de sarcasmo en textos es una de las tareas más complicadas en el Procesamiento del Lenguaje Natural (PLN). Además, se ha convertido en un área de investigación relevante debido a su importancia para mejorar el análisis de sentimientos. En este trabajo, exploramos varios modelos de aprendizaje profundo, como Bidirectional Long Short-Term Memory (BiLSTM) y Bidirectional Encoder Representations from Transformers (BERT) para abordar la tarea de detección de sarcasmo. Si bien la mayoría de los trabajos anteriores se han centrado en datasets construidos con textos de redes sociales, en este artículo, evaluamos nuestros modelos utilizando un dataset formado por titulares de noticias. Por tanto, este es el primer estudio que aplica BERT para detectar el sarcasmo en textos que no provienen de las redes sociales. Los resultados de los experimentos muestran que el enfoque basado en BERT supera el estado del arte en este tipo de conjunto de datos.