Resumen de Aportaciones del aprendizaje automático a la detección, seguimiento y reconocimiento de personas en robots de servicio
- español
Los robots sociales, tienen como objetivo interactuar con las personas en todo tipo de entornos. Esta interacción puede desarrollarse en diferentes escenarios, desde que el robot proporcione información, hasta que resuelva una tarea concreta. Los robots asistenciales son un subconjunto de los robots sociales, cuya finalidad es ayudar a las personas en entornos de restauración, domésticos, hospitalarios, etc.
Las tareas que deben afrontar los robots asistenciales añaden a la complejidad de la robótica general, la necesidad de interactuar con los humanos, que esperan que su rendimiento sea similar al que realizaría un humano en un entorno doméstico o de atención al cliente. Además, estos robots deben funcionar de forma autónoma, es decir, deben tener la capacidad de tomar sus propias decisiones por sí mismos en el entorno en el que estén desplegados.
Dentro de los problemas clásicos de la robótica de servicios se encuentra la ”navegación”, es decir, la habilidad para desplazarse por el entorno de forma autónoma y sin dañar objetos o personas que se encuentren en su trayectoria. Es habitual que las soluciones de navegación traten de la misma forma a personas y objetos a la hora de desplazarse por el entorno, lo cual no es apropiado en el caso de robots asistenciales.
Al problema específico de la navegación de robots autónomos en entornos con personas se le denomina ”navegación social”, que es el problema que se aborda en esta tesis. La navegación social no solo hace referencia a evitar colisionar con las personas u objetos que haya en la trayectoria y el cálculo de la misma, también tiene que ver con la capacidad del robot para aproximarse a una persona, caminar junto a ella, seguirla, etc.
Dichas capacidades, están estrechamente relacionados con tres habilidades esenciales: la detección, el seguimiento y el reconocimiento de personas.
El objetivo de esta tesis doctoral se puede resumir en el desarrollar de métodos que permitan la creación de un pipeline de detección, seguimiento y reconocimiento de personas que se pueda integrar en sistemas de navegación social, lo que fomentará la interacción persona-robot y facilitará la aceptación de estos robots en todo tipo de entornos.
Para ello, en el desarrollo de la tesis se han propuesto y evaluado una serie de métodos que se han integrado en dos sistemas. En primer lugar, el sistema que hemos denominado People Tracking (PeTra), que permite llevar a cabo la detección y seguimiento de las personas en las inmediaciones del robot. En segundo lugar, Biometric RecognITion Through gAit aNalYsis (BRITTANY) permite llevar a cabo el reconocimiento de las personas por su forma de caminar. Ambos sistemas se basan únicamente en la información contenida en rejillas de ocupación que pueden proporcionar diferentes sensores.
PeTra se basa en el uso de una Convolutional Neural Network (CNN) de segmentación, que mediante el procesamiento de un mapa de ocupación, permite determina aquellos puntos de la rejilla de ocupación que corresponden con una persona presente en la escena. A partir de esa información, mediante el post-procesamiento de los datos, se puede realizar el seguimiento de las personas. Para ello se plantean dos posibles aproximaciones:
el cálculo de distancias euclídeas y el uso de filtros de Kalman.
PeTra ha sido comparado con Leg Detector (LD), la solución por defecto presente en Robot Operating System (ROS), basada en Random Trees para determinar la ubicación de las personas. El sistema final, ha reportado mejores resultados en materia de detección que LD. Y en materia de seguimiento, la aproximación mediante filtros de Kalman también ha reportado mejores resultados que la implementación mediante el cálculo de distancias euclídeas.
BRITTANY se basa en el uso de una CNN de clasificación, que mediante el procesamiento de un mapa de ocupación agregado, permite determinar que usuario se encuentra caminando delante del robot. El mapa de ocupación agregado se crea mediante la concatenación de varios mapas de ocupación que solo contienen aquellos puntos del sensor que forman parte de una persona. Mediante la concatenación de estos mapas, se consigue representar la acción de caminar de una persona. BRITTANY propone una nueva arquitectura de CNN que se ha comparado con arquitecturas de clasificación conocidas como LeNet o AlexNet. El sistema final desarrollado es robusto incluso ante usuarios externos al sistema.
- English
Social robots aim to interact with people in all kinds of environments.
This interaction can occur in different scenarios, from the robot providing information to solving a specific task. Assistive robots are a subset of social robots whose purpose is to help people in restaurants, homes, hospitals, etc.
Tasks faced by assistive robots add to the complexity of general robotics, the need to interact with humans, who expect their performance to be similar to that of a human in a domestic or customer service environment.
In addition, these robots must operate autonomously, i.e. they must have the ability to make their own decisions on their own in the environment in which they are deployed. Tasks faced by assistive robots add to the complexity of general robotics, the need to interact with humans, who expect their performance to be similar to that of a human in a domestic or customer service environment. In addition, these robots must operate autonomously, i.e. they must have the ability to make their own decisions on their own in the environment in which they are deployed.
One of the classic problems in service robotics is "navigation", i.e. the ability to move through the environment autonomously and without damaging objects or people in its path. It is common for navigation solutions to treat people and objects in the environment in the same way, which is not appropriate for assistive robots.
The specific problem of autonomous robot navigation in human environments is called "social navigation", which is the problem addressed in this thesis. Social navigation is not only about avoiding collisions with people or objects in the trajectory and the calculation of the trajectory, it is also about the robot’s ability to approach a person, walk next to him/her, follow him/her, etc. These capabilities are closely related to three essential skills: detection, tracking and recognition of people.
The objective of this PhD can be summarised as the development of methods that allow the creation of a human detection, tracking and recognition pipeline that can be integrated into social navigation systems, which will promote human-robot interaction and facilitate the acceptance of these robots in all kind of environments.
For this purpose, in the development of the PhD, a series of methods have been proposed and evaluated, which have been integrated into two systems. Firstly, the system called People Tracking (PeTra), enables the detection and tracking of people in the vicinity of the robot. Secondly, Biometric RecognITion Through gAit aNalYsis (BRITTANY) enables the recognition of people by their gait analysis. Both systems rely solely on the information contained in occupancy maps that can be provided by different sensors.
People Tracking (PeTra) is based on the use of a segmentation Convolutional Neural Network (CNN), which through the processing of an occupancy map, allows to determine which points of the occupancy map belong to a person. Based on this information, by post-processing the data, the persons can be tracked. Two possible approaches are considered:
the calculation of Euclidean distances and the use of Kalman filters.
PeTra has been compared with Leg Detector (LD), the default solution present in Robot Operating System (ROS), based on em Random Trees to determine the location of people. The final system has reported better detection results than LD. And in terms of tracking, the Kalman filter approach has also reported better results than the implementation using Euclidean distance calculation.
BRITTANY is based on the use of a classification CNN, which by processing an aggregated occupancy map, allow to determine which user is walking in front of the robot. The aggregated occupancy map is created by concatenating several occupancy maps that contain only those sensor points that are part of a person. By concatenating these maps, the walking action of a person is represented. BRITTANY proposes a new architecture of CNN that has been compared with two well-known classification architectures, LeNet and AlexNet. The final system developed is robust even to users outside the system.
