Resumen de Creación de experiencias de realidad aumentada realistas por usuarios finales
Alvaro Montero
Creación de Experiencias de Realidad Aumentadas Realistas por Usuarios Finales La presente tesis doctoral se enmarca en el campo multidisciplinar human-computer interaction (HCI), el cual estudia cómo los seres humanos hacen uso de la tecnología para el diseño de nuevas formas de interacción o la mejora de las presentes. El objetivo principal de HCI es lograr una mayor eficiencia en la interacción con la tecnología o conseguir un aumento del alcance de esta a un mayor número de personas. Para hacer frente a esta y otras metas es habitual que en esta área se haga uso de métodos y teorías de otros campos científicos, tanto relacionados con la tecnología como las ciencias de la computación, o centradas en las personas que hacen uso de ella, como la psicología o la sociología, por ejemplo.
Dentro del HCI, este trabajo se enfoca principalmente en dos áreas específicas: la realidad aumentada (RA) y el end-user development (EUD). LaRA se define como el conjunto de técnicas que tienen como objetivo lograr que los elementos virtuales, que son generados por ordenador, coexistan con el resto de elementos reales sin que pueda llegar a ser apreciable el origen de los elementos, real o virtual [1]. Mientras que por su parte, end-user development (EUD) se define como “un conjunto de métodos, técnicas y herramientas que permiten a usuarios de sistemas software actuar como si fueran desarrolladores de software hasta el punto de ser capaces de crear, modificar y extender artefactos software por sí mismos” [4] (p.p. 2).
1. Contexto En los últimos años distintos estudios han identificado múltiples beneficios que la tecnología de RA puede ofrecer diversas áreas, por ejemplo, la medicina o la educación. Sin embargo, y a pesar de la aparición de nuevos dispositivos de RA cada vez más potentes y ergonómicos como teléfonos móviles y gafas de RA, la aplicación práctica de la RA no está tan extendida como cabría esperar. Entre las posibles causas que pueden explicar la limitada implantación de este tipo de sistemas cabe destacar el bajo realismo conseguido por muchas de las aplicaciones de RA, que se limitan a la simple superposición de contenido virtual en la visión que el usuario tiene del entorno, sin integrarlo correctamente dentro del mismo. Si bien existen algunos sistemas que son capaces de conseguir experiencias de mayor calidad, estos suelen requerir hardware específicos que por su elevado coste no suelen encontrarse disponibles para el público general. Otro de los problemas que condicionan la adopción de esta tecnología es la complejidad inherente al desarrollo de aplicaciones RA, que requiere disponer de conocimientos avanzados en programación, procesamiento de imagen y modelado 3D, entre otros. En los últimos años han aparecido algunas herramientas que tratan de aliviar el problema y permiten a usuarios finales crear experiencias de RA por sí mismos. Sin embargo, estas soluciones se centran fundamentalmente en la gestión, configuración y modificación del contenido virtual, y el nivel de realismo alcanzado a la hora de integrar los objetos virtuales en el mundo real suele ser limitado.
2. Identificación del Problema y Objetivos Este trabajo de investigación se asienta sobre la premisa de que para liberar el potencial que tiene la tecnología de RA, y ha sido mostrada en múltiples estudios, es necesario facilitar el desarrollo e implementación de experiencias de RA de calidad y realistas a usuarios finales que no poseen un alto perfil técnico, pero sí son expertos en ciertos dominios. De tal modo que puedan crear experiencias y aplicaciones de RA para su campo por sí mismos, o con mínima asistencia técnica. Una vez hecha una revisión de la literatura en las áreas en las que se enmarca esta tesis se pudieron identificar los siguientes problemas.
2.1. Baja integración del contenido virtual en el mundo real en las experiencias de RA basadas en tecnologías móviles Según Azuma [1], las experiencias de RA deben ser capaces de crear en el usuario la ilusión de que el contenido virtual parezca coexistir con el resto de los elementos físicos del entorno aumentado. Sin embargo, según el estado de la cuestión actual muchas de las aplicaciones de RA basadas en tecnología móvil y disponibles al público en general no logran satisfacer este objecto, y se limitan a superponer objetos virtuales sobre la visión del usuario.
Según la literatura existen distintas propuestas de técnicas para aumentar el realismo de las experiencias de RA. Sin embargo, cada una de estas técnicas se centran en conseguir algún tipo de efecto concreto, por lo que la aplicación de varios efectos a una misma experiencia requiere combinar distintas técnicas, que pueden emplear enfoques de RA radicalmente distintos o no compatibles.
Teniendo en cuanta estos problemas se puede afirmar que [P1] las actuales experiencias de RA disponibles para el público general ofrecen un bajo nivel de realismo y no logran generar en el usuario la ilusión de que el contenido virtual se encuentra integrado con el resto de los elementos del entorno.
2.2. Dificultad para aumentar de forma realista entornos de grandes dimensiones o exteriores Otro de los problemas que existen a la hora de implementar experiencias de RA es la dificultad adicional que supone aumentar ciertos tipos de entornos, como interiores de grandes dimensiones o localizaciones exteriores. Por una parte, las aplicaciones de RA que hacen uso de referencias o marcadores como medio para establecer la posición y tamaño de los elementos virtuales suelen tener problemas para reconocer en la imagen capturada por la cámara referencias que se encuentren alejadas de la misma, que aparecen a un menor tamaño en la imagen según la distancia respecto del usuario. De igual manera, aumentar ciertas localizaciones puede resultar complicado debido a la dificultad de reconocer referencias en condiciones de luz variable, como suele pasar en exteriores.
[P2] Es por tanto necesario disponer de un enfoque que permita la creación de experiencias aumentadas realistas en entornos interiores de grandes dimensiones y localizaciones exteriores.
2.3. Falta de herramientas de autoría adecuadas para la creación de experiencias de RA realistas por usuarios finales Por último, se observa cómo las actuales herramientas de autoría dirigidas al público general, es decir, a usuarios con un conocimiento no experto, únicamente permiten implementar experiencias muy sencillas, y en muchos casos específicas para un dominio o tipo de aplicación concreta.
A pesar de que los elementos virtuales pueden incluir animaciones o sonidos, la interacción del usuario con ellas suele ser muy limitada, de tal forma que, en la mayoría de los casos, el usuario que accede a la experiencia actúa como un mero observador de la misma. Este problema se debe al dispositivo empleado, un móvil o tableta, el cual proporciona un campo de visión limitado y un espacio pequeño de pantalla para mostrar contenido de manera sencilla y clara.
Adicionalmente, estas herramientas de autoría emplean un enfoque “WYSIWYG” (lo que ves es lo que obtienes), el inconveniente que presenta este tipo de enfoque es que es necesario presente en el propio espacio a aumentar para poder editar y modificar la experiencia, lo cual supone una limitación a la hora de aumentar espacios públicos o de acceso restringido.
Teniendo en cuenta estos problemas se puede afirmar que [P3] las herramientas de autoría de RA disponibles para el público general sufren ciertas limitaciones que dificultan su uso a la hora de crear experiencias de RA interactivas y de propósito general.
2.4. Relación de los problemas identificados con los objetivos del trabajo de investigación El objetivo principal que persigue la presente tesis es el de facilitar la creación de experiencias de realidad aumentada realistas a usuarios finales que no cuenten con un perfil tecnológico alto. El término experiencias realistas en el contexto de este trabajo hace hincapié en que las experiencias creadas deberán de lograr la impresión de que los elementos virtuales parezcan pertenecen al entorno real. También, es relevante aclarar que las experiencias creadas por los usuarios finales no se enfocarán en el uso de dispositivos específicos para su ejecución como podrían ser las Microsoft Hololens, sino que serán accesibles al público en general en términos de emplear dispositivos de propósito general disponibles para todo el mundo como son los dispositivos móviles.
3. Metodología Para el alcance de los objetivos expuestos se hace necesario la utilización de una metodología válida que permita guiar este proceso de investigación. En el caso concreto de la presente tesis doctoral, el marco de trabajo de investigación definido por Hevner et al. [2,3] denominado Design Science in Information System Research (DSISR) guía la investigación. Este marco de trabajo no solo guía la investigación, sino que también vela por la originalidad y utilidad de la contribución.
Para llevar a cabo el proceso de investigación, este marco de trabajo de investigación está constituido por tres ciclos que toman parte en diferente momento de la investigación: Ciclo de Relevancia, Ciclo de Diseño y Ciclo de Rigor. Estos ciclos son los encargados de relacionar la investigación en curso con el dominio de aplicación y la base de conocimiento de las áreas que intervienen.
4. Creación de Experiencias de Realidad Aumentada Realistas Para hacer frente a los dos primeros problemas identificados, en la primera parte de esta tesis se propone un proceso de creación de experiencias de RA que permite lograr un alto grado de realismo y no requiere de hardware específico, así como una arquitectura de sistema para su implementación. Tanto el proceso como la arquitectura propuestos fueron evaluados mediante el desarrollo de 2 experiencias de RA en las que se aumentaron de forma realista un espacio interior de grandes dimensiones y una localización exterior, respectivamente. Estos entornos aumentados sirvieron como escenarios a varios juegos de RA colaborativos, que fueron probados por más de 100 personas simultáneamente en el primer caso con motivo de un evento de la Noche de los Investigadores y más de 60 estudiantes de segundaria en el segundo caso durante una sesión divulgativa. En ambos entornos las experiencias de RA lograron incluir una amplia variedad de efectos realistas lo que supone un mayor nivel de integración de los elementos virtuales en el entorno real.
5. Autoría de Experiencia de Realidad Aumentada Basadas en Realidad Virtual La segunda parte de la tesis se propone un método de autoría de experiencias de RA para usuarios finales para hacer frente al problema mencionado acerca de las limitaciones de las actuales herramientas de autoría. El método propuesto aprovecha las ventajas que ofrece la tecnología de Realidad Virtual (RV) con el fin de ofrecer a usuarios sin un alto grado de conocimiento técnico una forma sencilla de aumentar un entorno físico. El método propuesto fue evaluado por medio de un experimento en el que 10 participantes diseñaron una misma escena de RA empleando una herramienta de autoría basada en el método propuesto (SimulAR), y otra que implementa el tradicional enfoque de autoría basada en RA (InsituAR). Los resultados obtenidos sugieren que el método propuesto es igualmente eficaz a la hora de soportar el proceso de creación, y además permite solventar algunas limitaciones del tradicional enfoque basado en RA.
6. Contribuciones Los trabajos llevados a cabo en esta tesis doctoral para el diseño de un método para aumentar espacios de grandes dimensiones y el estudio de los beneficios y limitaciones del uso de la RV durante parte del proceso de autoría AR realizan las siguientes contribuciones a la base de conocimiento y en dominio de aplicación por medio del ciclo de rigor y relevancia descritos en el marco de trabajo de Alan Hervner [2,3].
• Un método de creación de experiencias de AR realistas para entornos de grandes dimensiones (Fundamento teórico): Esta contribución versa directamente sobre el objetivo O1 de la tesis. Una vez diseñado el método y evaluado el resultado de proceso en un caso de contexto real, este proceso ha podido pasar a la base de conocimiento gracias a varias publicaciones [5,6].
• Herramientas y scripts desarrollados para la creación de experiencias de AR realistas en entornos de grandes dimensiones (Artefacto para el dominio de Aplicación): Una vez hecha la evaluación del proceso y obtenidos unos resultados positivos en el estudio, las herramientas y scripts que fueron desarrollados forman parte de las contribuciones sobre el dominio de aplicación del estudio. En este caso un dominio de aplicación que requiera aumentar un espacio de grandes dimensiones de manera realistas.
• Conocimiento de los beneficios y limitaciones del uso de la VR como parte del proceso de autoría de AR (Fundamento teórico): Esta contribución está estrechamente ligada al objetivo O2 de la tesis. Una vez hecha la discusión de los datos extraídos del experimento con usuarios. Las conclusiones que se pueden extraer formarán parte de la base de conocimiento por medio de la propia tesis.
• Herramienta de autoría inmersiva de realidad aumentada para entornos inaccesibles, acceso remoto o por preferencia del usuario y herramienta de autoría móvil de RA (Artefactos de Diseño): Las dos herramientas que han sido desarrolladas y evaluadas por usuarios son contribuciones que ser realizan al dominio de aplicación estudiado en esta tesis.
7. Trabajos Futuros Tras los resultados obtenido en los dos estudios principales que contienen esta tesis, se puede considerar como trabajos futuros el desarrollo de una herramienta que permita llevar a cabo el proceso completo de creación y autoría de realidad aumentada realista para usuarios finales basado en los conocimientos extraídos. Esta herramienta podría potenciar muchas áreas como la educación, el patrimonio cultural o el entretenimiento.
Además, del desarrollo de esta herramienta sería conveniente la adaptación del primer método propuesto para exploración de un enfoque que permita mover la cámara que capta el entorno. Por otro lado, la ejecución de la experiencia AR en el auditorio pareció divertir al público mientras estos podían ver como los elementos virtuales estaban adecuadamente integrados en el entorno real. Sin embargo, más evaluaciones deberían ser necesarias para conocer la opinión de los usuarios e incluso comparar los resultados cuando son utilizadas otras técnicas.
El segundo trabajo mostró unos buenos resultados en las dos herramientas evaluabas lo que sugiere que ambas herramientas son suficientemente factibles para ser usuarios. Por lo que el usuario podría decidir cual usar en función de la preferencia o necesidad. Sin embargo, se deberían de llevar más estudios con usuarios para profundizar y extraer más información de estos enfoques y, de esta manera, poder confirmar de manera más segura el aumento en la celeridad en las tareas cuando se lleva el proceso de manera inmersiva en RV. Además, sería necesario llevar un experimento que además de evaluar la velocidad pueda analizar si realmente la precisión lograda durante la tarea es igual o superior al uso de herramientas de autoría de RA. Adicionalmente, sería interesante que el proceso de autoría basado en VR inmersiva fuera evaluado desde cero con usuario que lleven todos los pasos del proceso. Otra cuestión que analizar sería conocer si un movimiento menor en el propio proceso de autoría en el enfoque de VR inmersivo a través de una visión cenital podría tener mejores resultados. De igual manera, sería interesante también que las experiencias diseñadas por participantes fueran valoradas por otros participantes.
Adicionalmente a las evaluaciones, sería interesante ampliar los dispositivos que pueden ejecutar la experiencia dando la posibilidad a dispositivos como las Microsoft Hololens para ejecutar la experiencia de RA. En este caso sería necesario obtener la correspondencia entre el fichero de descripción de entornos de Hololens con el modelo creado por fotogrametría. Este proceso pude ser similar al realizado, e incluso, podría ser automatizado haciendo uso de un apropiado algoritmo que minimice la distancia, por ejemplo, con mínimos cuadrados, entre los vértices del modelo y la figura que se forma al obtener la forma del entorno que rodea a las Hololens.
8. Referencias [1] Ronald T. Azuma and others. 1997. A survey of augmented reality. Presence 6, 4 (1997), 355–385.
[2] Alan R. Hevner. 2007. A three cycle view of design science research. Scand. J. Inf. Syst. 19, 2 (2007), 4.
[3] Alan R. Hevner, Salvatore T. March, Jinsoo Park, and Sudha Ram. 2004. Design Science in Information Systems Research. MIS Q 28, 1 (March 2004), 75–105.
[4] Henry Lieberman, Fabio Paternò, Markus Klann, and Volker Wulf. 2006. End-User Development: An Emerging Paradigm. In End User Development, Henry Lieberman, Fabio Paternò and Volker Wulf (eds.). Springer Netherlands, 1–8. Retrieved January 20, 2015 from http://link.springer.com/chapter/10.1007/1-4020-5386-X_1 [5] Álvaro Montero, Telmo Zarraonandia, Paloma Díaz, and Ignacio Aedo. 2016. Creating Interactive and Realistic Augmented Reality Experiences. In Proceedings of the XVII International Conference on Human Computer Interaction, ACM, 17. Retrieved February 24, 2017 from http://dl.acm.org/citation.cfm?id=2998660 [6] Alvaro Montero, Telmo Zarraonandia, Paloma Diaz, and Ignacio Aedo. 2017. Designing and implementing interactive and realistic augmented reality experiences. Univers. Access Inf. Soc. (November 2017). DOI:https://doi.org/10.1007/s10209-017-0584-2
