Reconocimiento del lenguaje de señas mediante aprendizaje automático para niños de primaria

• Bodmer, Richard ^[1] ; Liu, Lucia ^[1] ; Liu, Winson ^[1] ; Rangel, José Carlos ^[1]
  1. [1] Universidad Tecnológica de Panamá

     Universidad Tecnológica de Panamá

     Panamá

     
• Localización: Revista de Iniciación Científica: RIC, ISSN-e 2413-6786, ISSN 2412-0464, Nº. Extra 6, 2020 (Ejemplar dedicado a: Revista de Iniciación Científica - Edición Especial N°4), págs. 68-72
• Idioma: español
• DOI: 10.33412/rev-ric.v6.0.3161
• Títulos paralelos:
  • Sign language recognition with machine learning for elementary school children
• Enlaces
  • Texto completo
• Resumen
  • español

    Los gestos de las manos son utilizados para demostrar expresividad, un punto mucho más importante para personas con discapacidad auditiva, quienes utilizan esta representación de símbolos manualmente como lenguaje. Un sistema que reconozca el lenguaje de señas panameño que esté orientado hacia niños con discapacidades auditivas es relevante para un aprendizaje más fluido y efectivo. Para el desarrollo, se deberán usar herramientas de inteligencia artificial, como aprendizaje automático, procesador y clasificador de imágenes, además del uso de una cámara digital para capturar los gestos expresados con las manos. Como objetivo, este sistema solamente reconocerá las vocales del alfabeto (a, e, i, o, u) en texto como etapa de inicio y prueba.

  • English

    For most people, hand gestures are used to demonstrate expressiveness for people with hearing disabilities. This manual representation of symbols constitutes a language. A system that recognizes Panamanian sign language that is oriented towards children with hearing disabilities is relevant to a more fluid and effective learning. For development, artificial intelligence tools should be used, such as machine learning, image processing and classifier, as well as the use of a digital camera to capture gestures expressed by hands. As an objective, this system will only recognize the vowels of the alphabet (a, e, i, o, u) in text as a start and test stage.

• Referencias bibliográficas
  • [1] C. Hernández, J. L. Pulido, y J. E. Arias, "Las tecnologías de la información en el aprendizaje de la lengua de señas”, Revista de...
  • [2] F. Gomez-Donoso, S. Orts-Escolano, y M. Cazorla, “Accurate and efficient 3D hand pose regression for robot hand teleoperation using a...
  • [3] A. Oviedo, (2015) "Panamá, atlas sordo – Cultura Sorda". [En línea] Disponible: https://cultura-sorda.org/panama-atlas- sordo/...
  • [4] Arjona. (2017). “Desafíos de la educación a personas sordas en Panamá”. [En línea]. Disponible: http://laestrella.com.pa/panama/politica/desafios-educacion-...
  • [5] D. Pimentel, R. Walker y M. Fajardo. Lengua de Señas Panameñas. Panamá: Editora Panamá América, S.A. 2018. Pp 17-18.
  • [6] S. Kolkur, D. Kalbande, P. Shimpi, C. Bapat, and J. Jatakia (2013). “Human Skin Detection Using RGB, HSV and YCbCr Color Models”. Advances...
  • [7] A. Rosebrock. (2014). “Charizard Explains How To Describe and Quantify an Image Using Feature Vectors”. [En línea]. Disponible:https://www.pyimagesearch.com/2014/03/03/chari...
  • [8] Nikishaev. (2018). “Feature extraction and similar image search with OpenCV for newbies”. [En línea]. Disponible: https://medium.com/machine-learning-world/feature-...
  • [9] Rosebrock. (2016). “k-NN classifier for image classification”. [En línea]. Disponible: https://www.pyimagesearch.com/2016/08/08/k-nn-classifier-...
  • [10] DataTurks (2018). “Understanding SVMs’: For Image Classification”. Revista electrónica Medium. [En línea]. Disponible: https://medium.com/@dataturks/understanding-...
  • [11] Cortes y V. Vapnik, "Support-vector networks", Machine Learning, vol. 20, n.º 3, pp. 273-297, sep. 1995, doi: 10.1007/BF00994018
  • [12] L. Breiman, "Random Forests", Machine Learning, vol. 45, n.º 1, pp. 5-32, oct. 2001, doi: 10.1023/A:1010933404324
  • [13] P. Domingos y M. Pazzani, "On the Optimality of the Simple Bayesian Classifier under Zero-One Loss", Machine Learning, vol. 29,...