Analysis and extension of hierarchical temporal memory for multivariable time series

• Autores: David Rozado Fernández
• Directores de la Tesis: Pablo Varona (dir. tes.) , Francisco de Borja Rodríguez Ortiz (dir. tes.)
• Lectura: En la Universidad Autónoma de Madrid ( España ) en 2011
• Idioma: inglés
• Tribunal Calificador de la Tesis: Ramon Huerta (presid.) , Eduardo Serrano Jerez (secret.) , Jesús María Cortés Díaz (voc.) , Tomasz Kapuscinski (voc.) , John Paulin Hansen (voc.) , Elka Korutcheva (voc.) , Carlos Aguirre Maeso (voc.)
• Enlaces
  • Tesis en acceso abierto en: digitool-uam.greendata.es
• Resumen

  • El campo de investigación del reconocimiento de patrones no ha prestado tradicionalmente mucho atención a como el cerebro resuelve susodicho problema. Componentes importantes del mundo físico tales como su estructura jerárquica o la existencia de la dimensión temporal, a menudo han sido ignorados en los paradigmas de aprendizaje automático. A pesar de todo, la evidencia que emerge de la neurociencia sugiere que el cerebro utiliza esas propiedades para resolver el problema del reconocimiento de patrones. Los clasificadores clásicos operan a menudo en una serie de atributos estáticos y no mimetizan los principios utilizados por el cerebro para recrear invarianza durante el reconocimiento de objetos. Todo esto ocurre a pesar del hecho de que el cerebro es un motor de reconocimiento de patrones muy robusto para numerosos problemas. Un motor, por cierto, todavía no superado por metodológicas computacionales.

    La memoria jerárquica temporal, o HTM por sus siglas en ingles, es un algoritmo bioinspirado neocorticalmente capaz de llevar a cabo reconocimiento de patrones, predicción de series temporales y tareas de control usando una red de nodos que realizan clusterización espacio-temporal y organizados de forma jerárquica. La HTM es un clasificador robusto para casos donde la representación espacial completa de un patrón está presente en cualquier instante de tiempo, como por ejemplo el reconocimiento de imágenes. Sin embargo, la HTM, no es tan robustas a la hora de trabajar con problemas donde las instancias están compuestas por estructuras espaciales que se desarrollan en el tiempo, por ejemplo las series temporales multivariables.

    En este trabajo, proponemos una extensión del algoritmo HTM para optimizar su rendimiento en el reconocimiento de series temporales. Nuestra extensión consiste en la adicción de un nodo superior adicional en la topología HTM que almacena y compara secuencias de datos entrantes. La codificación espacio-temporal de una instancia sirve el propósito de lidiar con su evolución temporal. La comparación de secuencias se lleva a cabo utilizando el alineamiento de secuencias utilizando programación dinámica. Aplicaremos nuestro procedimiento en los problemas representativos de reconocimiento de lenguaje de signos, usando datos capturados con un guante electrónico y reconocimiento de gestos pupilares en tiempo real usando un sistema de seguimiento de la pupila de bajo coste. Los gestos pupilares representan un método innovador de interacción hombre-máquina consistente en el uso de secuencias de movimientos pupilares para generar comandos de control para aparatos electrónicos. Tanto el reconocimiento del lenguaje de signos como el de los gestos pupilares son buenos ejemplos de problemas de aprendizaje automático donde los atributos evolucionan en el tiempo. La posición de la mano o de los ojos en un instante de tiempo no representa la instancia en su conjunto y varias categorías distintas pueden compartir una cierta configuración espacial de las manos o de los ojos. Es la evolución temporal de la posición de la mano y su forma o de la posición de la pupila lo que constituye un signo o un gesto.

    En el problema de reconocimiento de signos, nuestra extensión del algoritmo HTM alcanza unos rendimientos de reconocimiento similares a las técnicas representativas del estado del arte en el reconocimiento del lenguaje de signos, tales como los ¿Hidden Markov Models¿ y las ¿Metafeatures Tclasses¿: 91% de reconocimiento en un conjunto de datos de 95 categorías del lenguaje australiano de signos. Además, nuestra extensión HTM supera el estado del arte en aspectos específicos tales como la necesidad de un bajo número de instancias de entrenamiento, la tolerancia a tamaños de vocabularios crecientes, bajos requerimientos de supervisión durante el entrenamiento, ausencia de modelos introducidos manualmente en el algoritmo de reconocimiento o la ausencia de modelos gramaticales o de lenguaje para ayudar al reconocimiento.

    Los gestos pupilares representan otro ejemplo donde las instancias consisten en patrones espaciales que evolucionan en el tiempo. En este trabajo evaluamos a través de una serie de estudios de usuario, diferentes modalidades de llevar a cabo un gesto pupilar y determinaremos la superioridad de los gestos pupilares sacadicos sobre los gestos pupilares arrastrados. También mostraremos como un simple algoritmo de programación dinámica supera a las HTM en el reconocimiento en tiempo real de gestos pupilares, alcanzando un 94\% de reconocimiento sobre un conjunto de 10 gestos pupilares con un sistema de seguimiento pupilar de bajo coste y situado a 5-10cm del ojo. Además nuestra versión extendida de las HTM alcanza un reconocimiento de hasta un 98\% sobre el mismo grupo de gestos pupilares en tiempo real en un sistema de seguimiento pupilar remoto y con altos niveles de ruido. De nuevo nuestro sistema extendido de HTM no usa modelos externos, sino que construye el modelo en la representación interna de la red a través de su exposición a los datos de entrenamiento. Debido a los robustos resultados de reconocimiento obtenidos por nuestro algoritmo extendido y los informes de los usuarios, concluimos que los gestos pupilares poseen un potencial considerable como forma innovadora de interacción hombre-maquina.

    En resumen, esta tesis discute y extiende las características de un clasificador temporal inspirado en la neocorteza capaz de llevar a cabo una robusta clasificación de series temporales multivariables. El problema del reconocimiento del lenguaje de signos y el problema del reconocimiento de gestos pupilares son usados como prueba de concepto de la robustez de la HTM extendida. En cualquier caso la HTM es un paradigma inherentemente flexible y tiene un amplio espectro de aplicación a otros problemas de reconocimiento cuyas instancias también estén formadas por una estructura espacio-temporal que evoluciona en el tiempo.