Sistema integrado de reconocimiento de emociones para interacción hombre-máquina

• Fredy H. Martínez ^[1] ; César A. Hernández ^[1] ; Diego A. Giral ^[1]
  1. [1] Universidad Distrital Francisco José de Caldas

     Universidad Distrital Francisco José de Caldas

     Colombia

     
• Localización: Información tecnológica, ISSN-e 0718-0764, ISSN 0716-8756, Vol. 34, Nº. 1 (Febrero), 2023, págs. 117-128
• Idioma: español
• DOI: 10.4067/S0718-07642023000100117
• Títulos paralelos:
  • Integrated emotion recognition system for human-machine interaction
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    El principal objetivo de esta investigación es desarrollar un sistema integrado de reconocimiento de emociones para robots de servicios en tareas domésticas. Para construir y entrenar el modelo se utilizan la red convolucional densa DenseNet y el conjunto de datos audiovisuales Ryerson sobre lenguaje y canción emocional RAVDESS. El sistema está compuesto por dos lazos de reconocimiento de emociones que estiman el estado desde una perspectiva multimodal. Un primer lazo utiliza el rostro para establecer el estado emocional a partir de las facciones, mientras que el segundo utiliza la voz. Los resultados de las pruebas en laboratorio muestran un alto desempeño del sistema gracias a un modelo que aporta información cuando el otro es incapaz. Dicha interacción permite pensar en la integración de módulos adicionales para incrementar la confiabilidad del robot. En conclusión, la arquitectura en paralelo incrementa considerablemente la capacidad del sistema de reconocimiento de emociones.

  • English

    The primary goal of this research study is to develop an integrated emotion recognition system for domestic service robots. To build and train the model, this study uses the Dense Convolutional Network (DenseNet) and the Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). The recognition system is composed of two emotion recognition loops that estimate every state from a multimodal perspective. The first loop uses the face to establish an emotional state from facial features, while the second uses the voice. The results of laboratory tests show high performance of the system thanks to a model that provides information when the other is incapable. Such interaction allows the possibility of integrating additional modules to increase the robot’s reliability. In conclusion, a parallel architecture considerably increases the capability of the system for emotion recognition.