Resumen de Robust and adaptable monocular pose estimation of non-cooperative spacecraft

Juan Ignacio Bravo Pérez-Villar

• español

  Estimar con precisión la pose de una nave espacial no cooperativa es una capacidad clave tanto para la eliminación activa de basura espacial como la reparación autónoma en órbita. Sin embargo, hay una gran ausencia de datos adquiridos en condiciones reales, causado principalmente por los altos costes asociados. Tradicionalmente, este problema se ha mitigado empleando simuladores de datos sintéticos. Si bien estos simuladores han resuelto el problema de la disponibilidad de datos, han introducido el problema de la diferencia entre dominio sintético y real. Esta diferencia se traduce en una bajada de rendimiento de los modelos entrenados con datos sintéticos y probados con datos reales. En esta tesis se exploran métodos para superar los problemas introducidos por la diferencia de dominio siguiendo tres estrategias principales: a) Simulando datos que se asemejen más a los datos de prueba reales; b) Introduciendo conocimientos a priori del dominio en el proceso de aprendizaje; c) Adaptando los modelos al dominio de prueba optimizando objetivos auto supervisados. En esta línea, las contribuciones presentadas son: a) La primera herramienta de código abierto para generar imágenes de naves espaciales, junto a un estudio sobre el papel de simular datos visualmente más cercanos al escenario objetivo; b) Un conjunto de funciones de coste robustas al cambio de dominio en la tarea de estimación de pose de naves espaciales. En esta línea, exploramos un trabajo secundario utilizando función de coste basada en frecuencia para la estimación de odometría visual y profundidad monocular en la navegación de rovers; c) Dos métodos para ajustar modelos al dominio de test de manera auto supervisada para la estimación de pose de naves espaciales. Siendo uno basado en imágenes estáticas y otro que explota información temporal

• English

  Although accurately estimating the pose of a non-cooperative spacecraft is a key capability to enable active-debris removal and in-orbit servicing, there is a major absence of data acquired in operational or hardware-in-the-loop scenarios. This, in part caused by the high associated costs, has been mitigated by employing synthetic data simulators. While these simulators have solved the problem of data availability, they have introduced the problem of the domain-gap that causes a performance drop for models trained over synthetic data and tested over test data. In this thesis we explore methods to overcome this domain-gap by following three main strategies: a) Simulating data that resembles more to the real test data; b) Introducing domain priors in the learning process; c) Adapting the models over the test-domain by optimising self-supervised objectives. In this line, the presented contributions are: a) The first open-source tool to generate spacecraft imagery, with a study on the role of simulating data that is visually closer to the target scenario; b) A set of robust loss terms for spacecraft pose estimation. Following this line of thought, we explore a secondary work using a frequency-based loss for the task of visual odometry and monocular depth estimation in rover navigation; c) Two methods to learn from the target domain in a self-supervised manner for the task of monocular spacecraft pose estimation, one based on still images and other that exploits temporal information