Mejora del Funcionamiento de Sistemas de Diálogo Hablado Mediante Reconocimiento del Estado Emocional de Usuarios

• Autores: Ramón López-Cózar Delgado , Jan Silovsky, David Griol Barres
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 45, 2010, págs. 191-198
• Idioma: español
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo propone una nueva técnica para mejorar el funcionamiento de sistemas de diálogo hablado mediante el reconocimiento del estado emocional de los usuarios. La técnica se basa en el uso de dos módulos de fusión para combinar predicciones emocionales. El primer módulo emplea varios métodos de fusión para combinar predicciones generadas por clasificadores que procesan distintos tipos de información relacionada con cada frase pronunciada por el usuario. Estas predicciones constituyen la entrada del segundo módulo de fusión, el cual emplea un determinado método de fusión para combinar las predicciones generadas por el primer módulo, y obtener así la predicción de mayor probabilidad. Esta predicción representa la decisión final de nuestra técnica acerca del estado emocional del usuario. Hemos realizado experimentos considerando dos categorías emocionales (‘No-Negativo’ y ‘Negativo’) y clasificadores que procesan información prosódica, acústica, léxica y relacionada con actos del diálogo. Los resultados obtenidos usando un corpus emocional creado en nuestra Universidad muestran que el primer módulo de fusión mejora notablemente las tasas de reconocimiento de los clasificadores, así como el funcionamiento de un sistema de reconocimiento de referencia. El segundo módulo de fusión, que representa la novedad de nuestro trabajo, permite incrementar las tasas de reconocimiento del primer módulo en un porcentaje del 2,25% absoluto.

  • English

    In this paper we propose a new technique to enhance the performance of spoken dialogue systems by means of recognising users’ emotional states. The technique employs two fusion modules that combine emotional predictions. The former employs a number of fusion methods to combine predictions made by classifiers that deal with different types of information regarding each sentence uttered by the user. These predictions are the input to the second fusion modules, which employs a fusion method to combine the predictions and obtain the most likely emotional category. This category represents the final decision of our technique regarding the emotional state of the user. We have carried out experiments considering two emotional categories (‘Non-negative’ and ‘Negative’) and classifiers to deal with information regarding prosody, acoustics, lexical items and dialogue acts. The results obtained employing an emotional corpus collected in our University show that the first fusion module clearly outperforms the classifiers, and so it does regarding a baseline system. The second fusion module, which represents the novelty of our study, enables enhancing the accuracy of the former fusion method by 2.25% absolutely.

• Referencias bibliográficas
  • Ai, H., Litman, D. J., Forbes-Riley, K., Rotaru, M., Tetreault, J., Purandare, A. 2006. Using system and user performance features to improve emotion...
  • Ang, J., Dhillon, R., Krupski, A., Shriberg, E., Stolcke, A. 2002. Prosody-based automatic detection of annoyance and frustration in humancomputer dialog....
  • Bänziger, T., Scherer, K. R. 2005. The role of intonation in emotional expressions. Speech Communication, 46, pp. 252-267.
  • Devillers, L., Vidrascu, L. 2006. Real-life emotions detection with lexical and paralinguistic cues on human-human call center dialogs. Actas...
  • Klein, J., Moon, Y., Picard, R.W. 2002. This computer responds to user frustration: theory, design and results. Interacting with Computers, 14(2),...
  • Lee, C. M., Narayanan, S. S., Pieraccini, R. 2002. Combining acoustic and language information for emotion recognition. Actas de ICSLP, pp. 873-876.
  • Lee, C. M., Narayanan, S. S. 2005. Toward detecting emotions in spoken dialogs. IEEE Transactions on Speech and Audio Processing, vol. 13(2),...
  • Liscombe, J., Riccardi, G., Hakkani-Tür, D. 2005. Using context to improve emotion detection in spoken dialogue systems. Actas de Interspeech, pp....
  • López-Cózar, R., Araki, M. 2005. Spoken, Multilingual and Multimodal Dialogue Systems. Development and Assessment. John Wiley & Sons Publishers.
  • López-Cózar, R., Callejas, Z. 2005. Combining Language Models in the Input Interface of a Spoken Dialogue System. Computer Speech and Language,...
  • Morrison, D., Wang, R., De Silva, L. C. 2007. Ensemble methods for spoken emotion recognition in call-centres. Speech Communication, vol....
  • Neiberg, D., Elenius, K., Laskowski, K. 2006. Emotion recognition in spontaneous speech using GMMs. Actas de Interspeech, pp. 809-812.
  • Piccard. R. 1997. Affective Computing. MIT Press. Tax, D., Van Breukelen, M., Duin, R., Kittler, J. 2000. Combining multiple classifiers by averaging...