Sistema de Reconocimiento de Señalamientos en Entornos Abiertos para la Orientación de Personas con Discapacidad Visual

• González, Yesenia ^[1] ; Millán, Alejandro ^[1] ; Sánchez, Yuli ^[1] ; Ortiz, Claudia ^[1] ; Alemán, Miguel ^[1] ; Hernández, Carlos
  1. [1] Instituto Politécnico Nacional

     Instituto Politécnico Nacional

     México

     
• Localización: Memoria Investigaciones en Ingeniería, ISSN 2301-1092, ISSN-e 2301-1106, Nº. 19, 2020, págs. 43-62
• Idioma: español
• DOI: 10.36561/NG.19.4
• Títulos paralelos:
  • Signage Recognition System in Open Environments for the Visually Impaired
• Enlaces
  • Texto completo
• Resumen
  • español

    En este trabajo se presenta el desarrollo de un prototipo que permite identificar señalamientos específicos a través de técnicas de visión artificial. Utiliza una etapa de segmentación de imagen basada en el algoritmo de superpíxeles SLIC, seguida de una etapa de reconocimiento y clasificación de señalamientos basada en redes neuronales convolucionales que se ha implementado en un ordenador de placa reducida (SBC). El prototipo informa al usuario de la identificación de estos señalamientos a través de un mensaje de audio enviado a un auricular, cuenta con un módulo GPS que obtiene la ubicación donde se reconoció el señalamiento y se almacena para ofrecer al usuario notificaciones sobre señalamientos cercanos. Las pruebas fueron realizadas con señalamientos a escala 1:2 en entornos abiertos, con luz de día. El prototipo pretende ser un apoyo para que personas con discapacidad visual puedan desplazarse en entornos abiertos urbanos. Tiempos de procesamiento y desempeño del prototipo son reportados. Si bien la implementación en el ordenador de placa reducida seleccionado hace inviable su uso por los tiempos de operación, se demuestra la funcionalidad del sistema.

  • English

    This work presents the development of a prototype that allows identifying specific signs through artificial vision techniques. It uses an image segmentation stage based on the SLIC superpixel algorithm, followed by a sign recognition and classification stage based on convolutional neural networks and has been implemented in a simple-board computer (SBC). The prototype informs the user of the identification of these signs through an audio message sent to headphones, it has a GPS module that obtains the location where the sign was recognized and is stored to offer the user notifications about nearby signs. The tests were performed with 1: 2 scale signs in open spaces, with natural light. The prototype is intended as a support for visually impaired people to move in open urban environments. Processing times and prototype performance are reported. Although the implementation in the selected simple-board computer makes its use unfeasible due to operating times, the functionality of the system is demonstrated.

• Referencias bibliográficas
  • Organización Mundial de la Salud. "Temas de salud. Discapacidades". Available: https://www.who.int/topics/disabilities/es/ [Accessed:...
  • Instituto Nacional de Estadística y Geografía. "Estadísticas a propósito del día internacional de las personas con discapacidad (3 de...
  • Instituto Nacional de Estadística y Geografía. "Clasificación de tipo de discapacidad-Histórica". Available: https://www.inegi.org.mx/contenidos/clasificadoresycatalogos/doc/clasificacion_de_tipo_de_discapacidad.pdf...
  • E A. Lafuente de Frutos, Educación inclusiva. Personas con discapacidad visual, 1º ed. Madrid: ITE, 2011, pp. 4-5.
  • Unión latinoamericana de ciegos. "La discapacidad visual y las tecnologías de la información y la comunicación". Available: http://www.ulacdigital.org/wp-content/uploads/2020/01/La-Discapacidad-Visual-y-las-Tecnolog%C3%ADas-de-la-Informaci%C3%B3n-y-la-Comunicaci%C3%B3n-1-1.pdf...
  • L. Nieto Riveiro y J. Muñoz Sevilla, "Aplicación de las tecnologías de la información y las comunicaciones en la vida diaria de las personas...
  • D. Gbenga, A. Shani , A. Adekunle. "Smart Walking Stick for Visually Impaired People Using Ultrasonic Sensors and Arduino". International...
  • S. Mohapatra, S. Rout, V. Tripathi, T. Saxena and Y. Karuna, "Smart Walking Stick for Blind Integrated with SOS Navigation System,"...
  • S. Wang and Y. Tian, Camera-Based Signage Detection and Recognition for Blind Persons, ICCHP (Computers Helping People with Special Needs),...
  • Tian, Y., Yang, X., Yi, C. et al. "Toward a computer vision-based wayfinding aid for blind persons to access unfamiliar indoor environments"....
  • D. Kunene y H. Vadapalli, "Indoor Sign Recognition for the Blind", SAICSIT (Annual Conference of the South African Institute of Computer...
  • I. Goodfellow, Y. Bengio, A. Courville, Deep Learning. MIT Press, 2016. www.deeplearningbook.org
  • F. Chollet. Deep Learning with Python. Manning Publication Co, 2017.
  • M. Afif, R. ayachi, Y. Said, E. Pissaloux and M. Atri, "Recognizing signs and doors for Indoor Wayfinding for Blind and Visually Impaired...
  • F. Zanetti, "Convolutional Networks for Traffic Sign Classification". Tesis de Maestría. Department of Signal and Systems. Chalmers...
  • Madan, Rishabh, Deepank Agrawal, S. Kowshik, Harsh Maheshwari, S. Agarwal and D. Chakravarty. “Traffic Sign Classification using Hybrid HOG-SURF...
  • Saleh, Shadi & Saleh, Hadi & Nazari, Mohammad & Hardt, Wolfram, "Outdoor Navigation for Visually Impaired based on Deep Learning"....
  • Comité Internacional Pro Ciegos I. A. P., CDMX. Available: http://lugaresaccesibles.com/lugar/comite-internacional-pro-ciegos-iap-cdmx. [Accesed:...
  • Información oficial del Gobierno de los Estados Unidos relativa al Sistema de Posicionamiento Global y temas afines. Sistema de posicionamiento...
  • A. Krizhevsky, I. Sutskever, G. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks". Neural Information Processing...
  • K.Symonian, A. Zisserman, “Very deep convolutional networks for large-scale image recognition”, 2015.
  • Vezhnevets, Konouchine , “GrowCut” - Interactive Multi-Label N-D Image Segmentation By Cellular Automata, 2005.
  • N. Dalal, B. Triggs, "Histograms of oriented gradients for human detection". In Computer Vision and Pattern Recognition, 2005. CVPR...
  • H. Bay, T. Tuytelaars, L.Van Gool, "Surf: Speeded up robust features". In Leonardis, A., Bischof, H., and Pinz, A., editors, Computer...
  • Secretaría de Comunicaciones y Transportes, Manual de Señalización Vial y Dispositivos de Seguridad, México, 2014, pp. 9.
  • M. Hart, "TinyGPS++ | Arduiniana", Arduiniana.org, 2014. [Online]. Available: http://arduiniana.org/libraries/tinygpsplus/....
  • Stutz D., Hermans A., Leibe B. (2017). Superpixels: An Evaluation of the State-of-the-Art. Computer Vision and Image Understanding. doi: 10.1016/j.cviu.2017.03.007.
  • Achanta R., Shaji A., Smith K., Lucchi, A., Fua, P., Susstrunk. S. (2012). SLIC superpixels compared to state-of-the-art superpixel methods....
  • Ren X., Malik J. (2003). Learning a classification model for segmentation. International Conference on Computer Vision. Vol. 1: 10–17.
  • Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. (2010). SLIC Superpixels. EPFL Technical Report 149300
  • A. Hernández, Y. González, A. Morales (2017). Implementación de algoritmo de superpixeles para la segmentación de imágenes a color. Boletín...
  • Conversor texto-voz, Octubre 3, 2017, Available: https://es.wikipedia.org/wiki/Conversor-texto-voz.
  • Layer weight initializers. Usage of initializers. Available: https://keras.io/api/layers/initializers/ [Accessed: 25-octubre-2020].
  • Evaluación de modelos de clasificación: Matriz de confusión y curva ROC. http://ericmelillanca.cl/content/evaluaci-n-modelos-clasificaci-n-matriz-confusi-n-y-curva-roc...
  • T. Fawcett, "An introduction to ROC analysis". Pattern Recognition Letters, 27, 861-874, 2006.
  • B. Zoph, V. Vasudevan, J. Shlens and Q. V. Le, "Learning Transferable Architectures for Scalable Image Recognition," 2018 IEEE/CVF...
  • G. Huang, Z. Liu, L. Van Der Maaten and K. Q. Weinberger, "Densely Connected Convolutional Networks," 2017 IEEE Conference on Computer...
  • K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern...