Resumen de Contribuciones al suavizado de color, compresión y registro de nubes de puntos 3d
1) INTRODUCCIÓN / MOTIVACIÓN En el presente siglo, la captura de información 3D se ha abaratado especialmente, gracias a los avances en hardware. El nivel de información generado por los sensores 3D aumentan todavía más la dimensionalidad del problema con respecto a los dispositivos 2D. Trabajar con información 3D representa una ventaja adicional en la mayoría de las aplicaciones, ya que se puede aportar al usuario más información. Es por ello que el procesamiento de esta información es uno de los campos actualmente más investigados en el área de la robótica y más concretamente en visión por computador.
La cantidad de información generada y las necesidades de procesamiento para determinadas aplicaciones abren líneas de investigación que permiten abordar el procesamiento de la información 3D desde dos perspectivas. Por un lado el diseño de métodos específicamente diseñados para información 3D que permitan mejorar en calidad y tiempo de ejecución a los métodos ya existentes y, por otro lado, generar métodos que permitan un ahorro de recursos sobre el gran volumen de datos generado.
Dentro del marco de varios proyectos de investigación en los que se ubica esta tesis, es necesario utilizar dispositivos de captura de información 3D para diferentes tareas. Muchas de ellas requieren el uso de la construcción de mapas y localización simultáneos (Simultaneous Localization and Mapping, SLAM) [Dissanayake et al., 2001, Endres et al., 2012b, Chang et al., 2013]. Es decir, construir un entorno virtual con la información de los sensores 3D (Mapping) y ubicar el robot dentro de ese entorno de forma fiable (Localization). Como parte más elemental del SLAM consideraremos el registro de pose, cuya principal función es: dadas dos capturas consecutivas de información 3D de un sensor, hallar la transformación que justifique el movimiento realizado por este.
Durante las labores de procesamiento de información 3D se observan los errores de color producidos por diferentes sensores. Tras realizar una búsqueda en la literatura de métodos de suavizado de color para nubes de puntos 3D, aparece la necesidad de abordar el problema de una forma no procedente de la adaptación de un método 2D. Además, puntos muy cercanos en una imagen 2D, pueden no estarlo en el espacio 3D. Es por ello que se propone la realización de tres métodos de suavizado de color específicamente diseñados para nubes de puntos 3D. Estos estudian el entorno de cada punto 3D y tienen su base en el concepto de entropía como indicador de la información que rodea al punto que se está procesando.
La capacidad de captura de información 3D acaba suponiendo un problema de almacenamiento y transferencia de la información. Desde la perspectiva del ahorro de coste en recursos, nos encontramos con la necesidad de utilizar métodos que compriman la información para poder almacenarla o transmitirla de forma eficiente. Existen en la literatura múltiples métodos de compresión de información genéricos ( [Ziv and Lempel, 1977], [Burrows and Wheeler, 1994]). Estos métodos permiten recuperar la información original sin errores, pero implican que es necesaria la descompresión y por tanto la necesidad de recursos para el posterior procesamiento de las nubes de puntos. También existe un modelo de representación de datos 3D basada en una organización Octree y una codificación, que consigue una compresión de la información asumiendo un cierto error, y que mediante implementaciones eficientes de memoria permiten el procesamiento de nubes de puntos 3D [Fan et al., 2013] [Kammerl et al., 2012]. También otros trabajos de aparición reciente abordan este problema como es el caso de [Morell et al., 2014]. En esta línea, y con el objetivo de conseguir mejores ratios de compresión, se propone un método de compresión de nubes de puntos 3D, que además permita el procesamiento del registro de pose sin necesidad de descomprimir la información.
2) DESARROLLO TEÓRICO Y EXPERIMENTAL En esta sección diferenciaremos dos apartados, el primero de ellos referente a las propuestas relacionadas con el suavizado de color en nubes de puntos 3D. El segundo apartado corresponderá a las propuestas de compresión de nubes de puntos 3D, y la utilización de información comprimida para la realización del registro de pose.
2.1) SUAVIZADO DE COLOR EN NUBES DE PUNTOS 3D.
Al surgir la necesidad de reducir los errores producidos en la captura de color sobre datos 3D, se propone la realización de tres métodos de suavizado de color específicamente diseñados para nubes de puntos 3D:
1. El primero de los métodos está específicamente diseñado para la obtención de una aceleración, descartando el proceso de aquellos puntos en los que el entorno no cumpla con un criterio prefijado de entropía. De este modo, con el descarte de puntos se logra una aceleración notable. En los casos extremos tendremos procesamientos en los que no se procesará ningún punto, con lo que el suavizado queda desvirtuado, y casos en los que se procesarán todos los puntos, con lo que no obtendremos aceleración alguna. Sin embargo, lo más habitual será obtener una aceleración respecto al método original con una calidad en el suavizado razonable.
2. El segundo de los métodos está orientado a la obtención de una mejorade la calidad en los resultados. En este método se establece un radio para el entorno relativamente grande y se decrementa iterativamente hasta cumplir con el criterio de entropía. Este método nos asegura un suavizado óptimo acorde al criterio fijado a cambio de un coste temporal mayor. Este coste es debido al procesamiento extra de la búsqueda del radio que produzca el procesado óptimo.
3. El tercero de los métodos consigue unos resultados de calidad equiparables al segúndo método, con tiempos de ejecución próximos al primer método. La clave de esta propuesta es la asunción que puntos muy cercanos tienen un entorno parecido. Si recordamos la propuesta anterior la parte más costosa era la búsqueda del radio que produce un procesado óptimo. En esta ocasión se agrupan conjuntos de puntos cercanos y los procesamos con el mismo radio óptimo. De esta forma se consigue una mejora en velocidad, con tiempos cercanos a la primera propuesta y sin una perdida de calidad notable.
Para la experimentación se han utilizado tres filtros en el dominio del espacio, dos lineales (filtro de media y filtro gaussiano) y uno no lineal destacado por sus buenos resultados (filtro bilateral). Se ha empleado un indicador de evaluación de los resultados ampliamente establecido (UQI [Wang and Bovik, 2002]) que tiene en cuenta no solo el error cuadrático médio (RMS), sino que también incorpora factores que acercan la evaluación a la perspectiva de un humano.
Los resultados sobre estos tres filtros confirman que el método uno consigue aceleración respecto a los métodos originales. El dos consigue una mejora decalidad con respecto a los métodos originales, y el tercero consigue niveles de calidad próximos al dos pero con tiempos que mejoran a los métodos originales.
La experimentación del suavizado del color se lleva a cabo utilizando tanto nubes de datos sintéticas (es decir con groundtruth), como nubes de puntos reales, para lo cual se utiliza como referencia el filtro que según la literatura mejor resultado ofrece, el filtro bilateral. En conclusión, con las tres propuestas podemos hallar una solución que se adapte a las necesidades de cada aplicación. Se consigue una mejora de calidad y tiempo de ejecución en el suavizado de color sobre filtros bien establecidos en la literatura, y ya de por sí con buenos resultados, como es el caso del filtro bilateral.
2.2) COMPRESIÓN DE NUBES DE PUNTOS 3D Y REGISTRO UTILIZANDO INFORMACIÓN COMPRIMIDA.
Como paso previo a la propuesta de compresión y registro, se establece la necesidad de utilizar algún conjunto de datos 3D de evaluación que permita la comparación de diferentes métodos de compresión existentes. Tras realizar una búsqueda en la literatura se determina la no existencia de ningún conjunto específico para la comparación de métodos de compresión de nubes de puntos 3D. Por este motivo se propone la creación de un conjunto de datos para este fin.
El conjunto de datos generado consta de 104 nubes de puntos etiquetados según su origen (sintético, sensor 3D), según su estructura (determinado por el nivel de curvatura), y según su textura en color (determinado por el nivel de entropía). El conjunto de datos creado provee herramientas estadísticas y gráficas para facilitar la comparación entre los diversos métodos. Todo el conjunto de datosasí como las herramientas se han generado con licencia Creative Commons, poniéndolo a disposición de la comunidad investigadora, especificándose también una metodología para incorporar nuevos elementos. En la propuesta de compresión se pueden diferenciar dos fases:
1. En la primera fase se efectúa una selección de la información a comprimir. Esta selección está dirigida por la obtención de los parches planos. Un parche plano es un conjunto de puntos al cual se le aplica un análisis para determinar si el conjunto de puntos pertenecen o no a un plano. Para ello, se tiene en cuenta el parámetro de thickness o grosor que se le permite a dicha superficie plana. El citado parámetro permite una cierta desviación de los puntos del plano al que se están ajustando. De esta forma se consigue agrupar puntos de una misma superficie reduciendo los efectos que el ruido pueda causar en la captura de la nube de puntos 3D. Con la selección de puntos se determina a qué puntos aplicamos el método de compresión y cuáles permanecen inalterados.
2. En la fase propia de compresión se emplea un modelo de aprendizaje no supervisado, que permite realizar una sustitución de bloques de puntos por la información del propio modelo. El modelo en cuestión es una mezcla de Gaussianas (Gaussian Mixture Models, GMM ). La compresión se basa en encontrar Gaussianas 6-dimensionales (x,y,z,r,g,b) que permitan definir un conjunto de puntos 3D, y que la sustitución de todos esos puntos por la descripción de las Gaussianas permitan un ahorro de recursos.
Más concretamente, se utiliza una versión acelerada que denominaremos FastGMM [Greggio et al., 2012].
Para determinar el rendimiento del método de compresión propuesto y efectuar una comparación con los métodos actuales existentes se emplea el conjuntode datos y las herramientas de comparación propuestas anteriormente. Se compara la propuesta con cuatro métodos. Un método sin pérdida (LZ77) y el resto con pérdida. El primero de ellos es Octree, y los otros son los definidos en [Morell et al., 2014] en su variante con k = 1 y k = 5. LZ77 se ha elegido como un ejemplo de método de datos sin pérdida y por su amplia utilización en aplicaciones de compresión ZIP [Ziv and Lempel, 1977]. Octree se ha elegido por ser un método de referencia en el estado del arte actual del procesamiento de nubes de puntos y los métodos de [Morell et al., 2014] por su reciente aparición, y por su aprovechamiento de la geometría de las nubes de puntos.
Los resultados han sido evaluados en función de si su origen es una captura sintética o una captura de un sensor 3D, y han sido evaluados también según su nivel de textura y estructura. En general, la propuesta ofrece mejores ratios de compresión que todos los métodos de compresión evaluados, enla mayoría de ocasiones. Si bien Octree mejora este ratio en algunos casos con nubes sintéticas y alta estructura. Sin embargo, con nubes de puntos reales la propuesta consigue mejores ratios de compresión, aunque también a costa de un mayor error. En contraste, al comparar con métodos basados en geometría de [Morell et al., 2014] k = 1, k = 5, la propuesta supera el ratio de compresión obtenido por estos y mejora el error cometido tanto en posición como en color. Para finalizar se propone la utilización de nubes de puntos comprimidas para realizar registro de pose. Normalmente, para aplicar registro de pose se realiza un muestreo de la nube de puntos o una extracción de características previo. En este caso podemos emplear los propios parches planos comprimidos como entrada a nuestro algoritmo de registro de pose. La propuesta de registro de pose consta de un método de emparejamiento de correspondencias y el algoritmo RANSAC [Fischler and Bolles, 1981] para la obtención de la transformación entre dos poses consecutivas.
Para la obtención de correspondencias entre parches planos se propone la utilización de una combinación de tres distancias: 1. Distancia entre los ángulos de las normales de los parches planos.
2. Distancia euclídea entre los centros de los parches planos.
3. Combinación de las distancias de Bhattacharyya entre las componentes Gaussianas de cada parche.
Con el proceso, conseguimos un conjunto de correspondencias entre parches planos que son introducidos en RANSAC como entrada. RANSAC descarta aquellos emparejamientos erróneos ofreciendo como salida una solución al problema. En definitiva, nos proporciona la transformación entre dos capturas consecutivas.
La propuesta de registro se evalúa utilizando dos conjuntos de datos recientes. El primero de ellos [Borrmann et al., 2013] contiene un gran número de puntos y, se ha seleccionado con el objetivo de compararnos con otra técnica de registro de reciente aparición [Viejo and Cazorla, 2014] donde también se utiliza este conjunto de datos. El otro [Sturm et al., 2012], está específicamente diseñado para la evaluación del SLAM . Al utilizar el primero de los conjuntos de puntos y compararnos con el método [Viejo and Cazorla, 2014], obtenemos que se mejoran algunos aspectos como el error medio entre poses, si bien, el tiempo de consecución de los parches planos se incrementa debido principalmente al proceso de aprendizaje de las componentes Gaussianas en el método de compresión. Con el segundo de los conjuntos, se obtiene un error medio entre poses que se encuentra en el mismo orden de resultados que proporcionan los autores de este conjunto de datos como ejemplo. El hecho de poder aprovechar la información comprimida para efectuar el registro de pose, libera a este proceso de tener que muestrear la información o bien de tener que realizar la extracción de puntos característicos. El propio cálculo de los parches planos y la mezcla de Gaussianas nos sirve para obtener estos puntos de manera implícita. Adicionalmente, la composición final de la escena transformada puede hacerse desde las nubes de puntos comprimidas (admitiendo cierto error), de manera que se ahorra el paso de almacenamiento o transmisión de las nubes de puntos originales.
CONCLUSIONES Como conclusión, se extrae que las propuestas realizadas proporcionan solución a problemas derivados del procesamiento de nubes de puntos 3D desde dos perspectivas diferentes. Desde la perspectiva de la mejora de calidad y tiempo de ejecución, en el caso de la propuesta del suavizado de color en nubes de puntos 3D. Desde la perspectiva del ahorro de recursos en el procesamiento de grandes volúmenes de datos, en el caso de la propuesta de compresión y registro sobre nube de puntos comprimidas.
Con la experimentación y la aplicación a filtros de suavizado de amplio uso, se comprueba que los tres métodos de suavizado de color propuestos permiten acelerar y mejorar los resultados de los métodos de suavizado existentes.
El método de compresión de nubes de puntos 3D propuesto ha sido evaluado en comparación con otros métodos ofreciendo mejores ratios de compresión en la mayoría de los casos, y aportando menor error de posición y color que algunas técnicas de reciente aparición. Adicionalmente el conjunto de datos de evaluación propuesto para labores de comparación, se encuentra disponible y refrendado por la comunidad investigadora. La validez del registro de pose sobre datos comprimidos queda confirmada ya que la experimentación muestra resultados similares a los presentes en la literatura, mejorando los mismos en algunos aspectos.
