Modelo computacional para la generación de indicaciones en la localización de objetos en entornos virtuales : aspectos espaciales y perceptivos

Resumen

Esta tesis doctoral presenta un modelo computacional que simula el proceso de dar indicaciones para la localización de objetos en entornos virtuales. El modelo permite la generación automática de indicaciones en lenguaje natural, utilizando los aspectos espaciales y perceptivos, con objetos de referencia. Con el propósito de ayudar a los usuarios en el proceso de localización de objetos, este trabajo se sustenta en tres pilares: - La propuesta de un modelo computacional de saliencia perceptual aplicable a objetos 3D en Entornos Virtuales. El modelo computacional de saliencia facilita la evaluación y selección del mejor objeto de referencia, que se utiliza en la indicación. El modelo se basa en las características del objeto con mayor estímulo para el sistema visual humano; tres características básicas de los objetos 3D (es decir, el color, tamaño y forma), estas son evaluadas desde dos perspectivas: individual y con respecto al contexto. - Un modelo de usuario y una representación explícita de la semántica de entornos virtuales. Con el fin de hacer que las instrucciones para la localización de objetos sean lo más claras y relevantes para el usuario, un modelo para representar la formación previa y la experiencia del usuario, así como sus características cognitivas y perceptivas se presenta. Las características perceptivas aluden a cómo el usuario interpreta la información a través del sistema visual. Las características cognitivas reflejan de alguna manera los procesos del cerebro humano, es decir, cómo el usuario guarda y gestiona la información en todo momento. Del mismo modo, una representación semántica del entorno virtual es necesaria para la generación de indicaciones, en la que las propiedades y las relaciones entre los objetos en el entorno virtual son capturados por una ontología. - La generación automática de indicaciones en lenguaje natural para localizar objetos, esto toma en cuenta los marcos de referencia y objetos de referencia. Para la selección del mejor objeto de referencia se tuvieron en cuenta tres criterios: (1) La saliencia perceptual de los objetos; (2) La probabilidad de que el usuario recuerde la ubicación del objeto, y (3) el conocimiento previo del usuario acerca de la clase de objeto. Este modelo computacional fue puesto en práctica como un componente de software que puede ser integrado en cualquier entorno virtual en el cual hay una necesidad de dirigir a usuarios en la posición de objetos, por ejemplo cuando agentes inteligentes pedagógicos dentro de entornos de educación virtual guían a usuarios para interactuar con objetos, estos antes tienen que ser localizados por el usuario. Los resultados obtenidos a través de una serie de experimentos nos permitieron reunir pruebas sobre la eficacia y utilidad de la propuesta, para verificar que el modelo es adaptable a las características del usuario y al contexto o situación. ABSTRACT This doctoral thesis presents a computational model that simulates the process of giving directions for the location of objects within virtual environments. The model allows the automatic generation of directions in natural language, using spatial and perceptual aspects, with reference objects. In order to assist users in the process of location of objects, this work is supported by three pillars: - The proposal of a computational model of perceptual saliency for 3D objects applicable to Virtual Environments. The computational model of saliency facilitates the evaluation and selection of the best reference object to be used in directions. It is based on the object’s features with the major stimulus for the human visual system; three basic features of 3D objects (i.e. color, size and shape) are evaluated from two perspectives: individual and with respect to the context. - A user model and an explicit representation of virtual world semantics. In order to make the directions for the location of objects as relevant to the user as possible, a model to represent previous education and experience of the user as well as his/her cognitive and perceptual attributes is presented. The perceptual characteristics allude to how the user interprets information through the visual system. The cognitive characteristics reflect somehow the processes of the human brain, i.e. how the user saves and manages information throughout time. Likewise, a semantic representation of the virtual environment is necessary for the generation of directions, in which properties and relations between objects in the virtual environment are captured by an ontology. - The automatic generation of directions to locate objects in natural language, this takes into account reference frames and reference objects. For the selection of the best reference object three criteria were taken into account: (1) The perceptual saliency of objects; (2) The probability that the user remembers the location of the object, and (3) Prior knowledge of the user about the class of object. This computational model was implemented as a software component that can be integrated into any virtual environment in which there is a need to guide users in the location of objects, for example when intelligent pedagogical agents within virtual training environments demand users to interact with objects that previously have to be located by the user. The results obtained through a set of experiments allowed us to collect evidence on the effectiveness and usefulness of the proposal, and to verify that the model is adaptive to user characteristics and to the context or situation.