Hand gesture recognition using sEMG and deep learning

• Autores: Nadia Nasri
• Directores de la Tesis: Miguel Cazorla Quevedo (dir. tes.) , Sergio Orts Escolano (codir. tes.)
• Lectura: En la Universitat d'Alacant / Universidad de Alicante ( España ) en 2021
• Idioma: español
• Tribunal Calificador de la Tesis: Ester Martínez Martín (presid.) , Francisco Gómez Donoso (secret.) , José Carlos Rangel Ortiz (voc.)
• Enlaces
  • Tesis en acceso abierto en: RUA
• Resumen

  • Introducción: En esta tesis, nos centramos en la tarea de reconocimiento de gestos de la mano a través de sensores de bajo coste. Las personas dependen de unas manos sanas para satisfacer sus necesidades básicas, y no se puede exagerar la importancia de unas manos sanas. Cada movimiento de la mano es el resultado de varias partes del cuerpo que trabajan de forma sincronizada y con precisión. Incluye la participación de músculos, huesos, nervios y otros elementos que trabajan en armonía para realizar el movimiento deseado. Cualquier daño en una parte importante de la mano puede causar fallos y disfunciones en los movimientos, de los cuales algunos son temporales y otros permanentes.

    Nos esforzamos por minimizar la posibilidad de que se ocasionen accidentes mediante nuestra investigación sobre las tareas de teleoperación. También nos esforzamos por minimizar aún más los efectos del fallo y la disfunción en los elementos internos mediante el desarrollo de un juego 3D para el proceso de rehabilitación.

    desarrollo teórico: Esta tesis analiza el uso de la electromiografía (EMG) y las técnicas de deep learning para reconocer los gestos de las manos. El reconocimiento de los gestos de la mano suele implicar la evaluación de dichos gestos que realizan los usuarios. La mayoría de estos sistemas se dividen en dos categorías: sistemas basados en la visión y sistemas basados en el contacto. En esta tesis, nos centramos en los sistemas basados en el contacto, específicamente en la predicción de los gestos de la mano basados en los datos de EMG.

    En la primera parte de esta tesis, examinamos los conjuntos de datos existentes y analizamos los pros y los contras de cada uno de ellos. A continuación, presentamos nuestra propuesta de conjunto de datos y sub-conjunto de datos. Para adquirir un conjunto de datos de actividades musculares, utilizamos un dispositivo portátil disponible en el mercado llamado Myo Armband y que contiene 8 sensores de EMG de superficie (sEMG). Los datos registrados se corresponden a la medición de seis gestos de mano recogidos a 35 participantes sanos de diferentes edades. Además, se pidió a 15 individuos jóvenes que participaban en el conjunto de datos que realizaran un gesto de mano adicional para el subconjunto de datos.

    Se propuso una novedosa red neuronal de Gated Recurrent Unit (GRU) para evaluar el conjunto de datos y clasificar los gestos de la mano. Este sistema se alimentó con señales sEMG sin procesar y demostró una precisión adecuada en los exámenes de prueba con nuevos sujetos. Este sistema basado en el aprendizaje también se utilizó para tareas de teleoperación. Un robot doméstico recibió órdenes basadas en el gesto de la mano estimado por el sistema. Probamos el sistema de teleoperación con nuevos sujetos y analizamos los resultados.

    Para el siguiente paso, se desarrolló un juego en 3D para ayudar en el proceso de rehabilitación. Los usuarios del juego propuesto deben controlar una esfera y superar los obstáculos realizando los gestos de la mano adecuados. Con el fin de mejorar la precisión del sistema para clasificar los gestos de la mano, rediseñamos la arquitectura neuronal y propusimos una red Convolucional (Conv)-GRU. Utilizando el subconjunto de datos adquirido, el nuevo sistema clasificó siete gestos de la mano de forma satisfactoria. Al final, se realizó un estudio de usuarios para el juego de rehabilitación y pedimos a los nuevos usuarios que jugaran al juego varias veces para que nos dieran su opinión sobre el proceso.

    conclusión: Esta tesis doctoral se centra en el reconocimiento de gestos de la mano mediante electromiografía de superficie (sEMG) y técnicas de deep learning. Para implementar un sistema de clasificación, se adquirió un conjunto de datos y un subconjunto de datos utilizando el dispositivo Myo armband.

    Ambos conjuntos de datos se evaluaron mediante redes neuronales. Se propuso una arquitectura GRU y se entrenó para clasificar seis gestos de la mano utilizando el conjunto de datos. El sistema se probó con datos de nuevos participantes que no formaban parte del proceso de entrenamiento y alcanzó una precisión del 77.85 %. El enfoque de clasificación también se utilizó en un sistema para controlar un robot doméstico (Pepper).

    Por último, se desarrolló un juego en 3D para ser utilizado en el proceso de rehabilitación. Se propuso un sistema de reconocimiento de gestos mejorado para este juego. La nueva red neuronal Conv-GRU se entrenó con el subconjunto de datos. El sistema de clasificación obtuvo un 82.15% de precisión en el reconocimiento de gestos. El sistema basado en EMG se diseñó para estudiar su eficacia y ayudar en las prácticas de rehabilitación, por lo que se realizó un estudio de usuarios con nuevos usuarios.