Bases para evaluar la anotación de corpus de emociones espontáneas

Abstract

En este artículo proponemos un marco en el que basar la evaluación de las anotaciones de corpus de emociones espontáneas, que emplea diversos coeficientes para medir el acuerdo entre anotadores y la complejidad de la anotación. Además, tiene en cuenta información contextual para interpretar los valores obtenidos. Nuestros resultados experimentales usando un corpus de emociones espontáneas muestran que las interpretaciones tradicionales que encontramos en la literatura no son válidas en el caso de emociones no actuadas, pues el hecho de que la categoría neutra sea predominante por naturaleza conlleva que estas interpretaciones sean poco informativas o incluso contradictorias. Nuestras propuestas proveen de mecanismos sobre los que sustentar una interpretación más fiable de la aceptabilidad de estos corpus.

In this paper we propose the use of several statistical coefficients and information sources to create an appropriate basis for the evaluation of the annotations of non-acted emotional corpora. Experimental results over a corpus of spontaneous emotions show that traditional interpretations that can be found in the literature are not valid for this type of corpora in which the neutral category is inherently predominant. Our proposals provide sufficient information to obtain reliable interpretations of acceptability.