Resumen de Reconocimiento Contextual de Gestos para la Toma de Decisiones
José Antonio Montero Valverde
Dentro del amplio rango de actividades humanas, los gestos realizados con las manos al in- teracuar con objetos del entorno ocupan un lugar importante en la vida cotidiana. As´ı que el dise˜no de sistemas autom´aticos que reconozcan de manera confiable tales gestos es un ´area de investiga- ci´on relevante. Sin embargo, es a´un m´as interesante saber qu´e hacer con los gestos reconocidos, ya que permite incorporar en los sistemas autom´aticos, aspectos como la toma de decisiones. En esta tesis, se propone un nuevo modelo computacional que integra t´ecnicas de visi´on computacional y teor´ıa de decisiones con el fin de reconocer los gestos manipulativos realizados por una persona en escenarios conocidos y tomar acciones al respecto. Este modelo puede aplicarse en escenarios don- de sea necesario tomar decisiones inmediatas a partir de la observaci´on visual del comportamiento humano, tales como: videoconferencias y apoyo a discapacitados. La adaptabilidad del modelo en diferentes escenarios se realiza con ligeras modificaciones. Para esto el sistema se estructura en dos m´odulos: i) M´odulo de reconocimiento de gestos, el cual combina informaci´on de movimiento y de contexto bajo un nuevo enfoque y, ii) M´odulo para la toma de decisiones, el cual propone un nuevo esquema basado en redes de decisi´on din´amica para tomar decisiones en problemas de decisi´on de Markov parcialmente observables con un horizonte finito. El m´odulo de reconocimiento de gestos se basa en informaci´on de movimiento (trayectorias del centroide de la mano) y de contexto (color y posici´on relativa de objetos) para entrenar modelos ocultos de Markov (HMMs) y representar los distintos gestos realizados en un escenario. La incorporaci´on de informaci´on contextual proporciona resultados experimentales de reconocimiento promedio de gestos que van desde 94 % hasta 99,57 % en distintos escenarios. Esto representa un incremento significativo en el proceso de reconocimiento de gestos comparado al resultado obtenido cuando no se integra el contexto. El m´odulo para la toma de decisiones utiliza una red de decisi´on din´amica donde se maneja el aspecto de incertidumbre en los estados a trav´es de una red bayesiana din´amica. La mejor alternativa se selecciona bajo el enfoque de m´axima utilidad esperada. Para esto se consideran los posibles resultados de cada acci´on a trav´es de futuras etapas temporales y la creencia acerca del gesto m´as probable realizado por el usuario.
Este modelo fu´e implementado en dos distintos escenarios para su evaluaci´on: Videoconferencias y Apoyo a personas para completar tareas. La evaluaci´on realizada en ambos escenarios fu´e subjetiva a trav´es de una encuesta realizada a los usuarios potenciales. Los resultados experimentales obtenidos de la evaluaci´on son satisfactorios, indicando que el rendimiento y eficiencia del modelo desarrollado resultan adecuados para aplicarse en diferentes ambientes reales.
