Nonintrusive virtual trainer prototype for exercise routines in unity using motion capture

• Gerardo José Moreno Uriola ^[1] ; Martin Jose Vega Bonilla ^[1] ; Cristian Iván Pinzón Trejos ^[1]
  1. [1] Universidad Tecnológica de Panamá

     Universidad Tecnológica de Panamá

     Panamá

     
• Localización: Revista Ingeniería, Matemáticas y Ciencias de la Información, ISSN-e 2357-3716, Vol. 10, Nº. 19, 2023, págs. 13-20
• Idioma: varios idiomas
• DOI: 10.21017/rimci.2023.v10.n19.a125
• Enlaces
  • Texto completo (pdf)
• Resumen

  • La virtualidad es un proceso innovador visto en los últimos años. Este proceso permite transformar escenarios a un entorno virtual para realizar simulaciones, prácticas o pruebas de manera que se puedan estudiar todos los resultados. A su vez, estos entornos pueden apoyarse en nuevas herramientas y metodologías que aumentan las capacidades de análisis, como la captura de movimiento para generar animaciones, el seguimiento de equipos robóticos y el estudio del movimiento humano, lo que beneficia el desarrollo de sistemas con estos objetivos. Se presenta un prototipo de entrenador virtual no intrusivo capaz de capturar el movimiento y determinar la correcta ejecución de las rutinas de ejercicio, utilizando un entorno virtual desarrollado en el motor de videojuegos Unity. El sistema emplea una cámara web SHDR para la captura en tiempo real del movimiento realizado por el usuario, que se procesa para rastrear la pose y las articulaciones mediante Machine Learning a través de la biblioteca MediaPipe. Este artículo explica la construcción del prototipo y presenta los resultados del proyecto.

• Referencias bibliográficas
  • Y. Barniv, M. Aguilar, and E. Hasanbelliu, “Using EMG to anticipate head motion for virtual environment applications,” IEEE Trans. Biomed....
  • L. Li et al., “Application of virtual reality technology in clinical medicine.,” Am. J. Transl. Res., vol. 9, no. 9, pp. 3867–3880, 2017....
  • A. Rizzo et al., “Virtual environment applications in clinical neuropsychology,” in Proceedings IEEE Virtual Reality 2000 (Cat. No.00CB37048),...
  • G. Nagymate and R. Kiss, “Application of OptiTrack motion capture systems in human movement analysis A systematic literature review,” Recent...
  • A. Bottino and A. Laurentini, “Experimenting with nonintrusive motion capture in a virtual environment,” Vis. Comput., vol. 17, pp. 14–29,...
  • D. Osokin, “Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose.” arXiv, 2018. doi: 10.48550/ARXIV.1811.12004.
  • K. E. Lara, “El doble desafío de la Educación Física virtual,” Panamá América: Salud y bienestar, Panamá, Sep. 07, 2020. [Online]. Available:...
  • L. P. Berg and J. M. Vance, “Industry use of virtual reality in product design and manufacturing: a survey,” Virtual Real., vol. 21, no. 1,...
  • W. A. IJsselsteijn, Y. A. W. de Kort, J. Westerink, M. de Jager, and R. Bonants, “Virtual Fitness: Stimulating Exercise Behavior through Media...
  • J. C. P. Chan, H. Leung, J. K. T. Tang, and T. Komura, “A Virtual Reality Dance Training System Using Motion Capture Technology,” IEEE Trans....
  • T. Hayami, M. Tanaka, M. Okutomi, T. Shibata, and S. Senda, “Super-high Dynamic Range Imaging,” in 2014 22nd International Conference on Pattern...
  • P. Galindo Salgado, “What’s New In Python 3.10,” 2022. https://docs.python.org/3/whatsnew/3.10.html
  • Unity Technologies, “Unity,” 2022,[Online]. Available: https://unity.com/
  • Blender Foundation, “Blender: Introducing blender 3.1,” 2022. https://www.blender.org/
  • G. Bradski, “The OpenCV Library” Dr. Dobb’s J. Softw. Tools, 2000.
  • C. Lugaresi et al., “MediaPipe: A Framework for Building Perception Pipelines.” arXiv, 2019, https://arxiv.org/abs/1906.08172.
  • Python, “Socket - Low-level networking interface,”2022. https://docs.python.org/3/library/socket