Resumen de Geometrical image characterization and multi-exposure imaging

Onofre Martorell Nadal

• español

  En esta tesis proponemos nuevos algoritmos para dos problemas distintos en los campos del procesamiento de imágenes y la visión por computador.

  En la primera parte proponemos una taxonomía básica de los contornos de una imagen. Nuestro objetivo es clasificar curvas regulares en 5 categorías: círculos, elipses, segmentos, arcos de círculo y arcos de elipse. Se han elegido estas estructuras geométricas porque pueden ser utilizadas como punto de partida para muchas tareas de visión por computador. La estrategia usada se aplica a un conjunto inicial de contornos disjuntos. Estos después son validados usando una estrategia a contrario que garantiza un bajo número de falsas detecciones. El uso de una estrategia multiescala permite la detección a varios niveles, que a su vez hacen que el algoritmo sea robusto al ruido y a la borrosidad.

  En la segunda parte proponemos tres métodos para la combinación de imágenes con diferente tiempo de exposición. Primero, proponemos un nuevo algoritmo para la fusión de imágenes con diferente tiempo de exposición que es capaz de tratar secuencias en las que la cámara o los objetos de la escena se mueven. Este algoritmo descompone la imagen en entornos a los cuales se les aplica la transformada discreta del coseno (DCT). Con esto, se combinan los coeficientes de los entornos de diferentes imágenes. También se adapta el algoritmo para secuencias dinámicas, para eliminar los artefactos denominados fantasma, que aparecen al fusionar imágenes que no están correctamente alineadas. Los experimentos realizados con varios conjuntos de datos muestran que el algoritmo propuesto obtiene mejores resultados que los métodos existentes en la literatura.

  Después, nos focalizamos en la fusión y eliminación de ruido conjunta en imágenes con diferente tiempo de exposición. Las dos tareas se pueden llevar a cabo de manera simultánea en el dominio de la DCT, que permite crear un algoritmo muy eficiente. El método hace uso de la selección espacio temporal de entornos y del umbral colaborativo tridimensional. Varios experimentos muestran que los resultados obtenidos son significativamente superiores a los de los métodos existentes en la literatura.

  Finalmente, proponemos un método basado en entornos que permite llevar a cabo de manera simultánea la creación de una imagen con alto rango dinámico y eliminación de ruido en una secuencia de imágenes RAW tomadas con diferente tiempo de exposición. Se utiliza un criterio espacio temporal para seleccionar los mejores entornos de toda la secuencia y un análisis de los componentes principales ponderado permite eliminar el ruido y llevar a cabo la fusión de forma simultánea. Varios experimentos muestran que el método logra resultados a la altura de los ya existentes usando datos RAW reales.

• English

  In this thesis we propose novel algorithms and techniques for two different problems in the fields of image processing and computer vision.

  In the first part we propose a basic taxonomy of image contours. Our goal is to classify smooth curves into five categories, namely, circles, ellipses, line segments, arcs of circles and arcs of ellipses. These geometrical structures have been chosen as they serve as input of many computer vision tasks. The proposed strategy is applied on a set of initial disjoint contours, which are grouped together to form the aforementioned structures. These, in turn, are validated using an a contrario approach that guarantees a reduced number of false detections. The use of a multiscale strategy permits the detection at different resolution levels, which makes the method robust to noise and blur.

  In the second part we propose three methods for the combination of multi-exposure images. First, we propose a novel algorithm for multi-exposure fusion (MEF) which is able to deal with sequences where there is camera or object motion. This algorithm decomposes image patches with the Discrete Cosinus Transform (DCT) transform. Coefficients from patches with different exposure are combined. The algorithm adapts to dynamic sequences in order to avoid the so-called ghosting artifacts, that appear when there are misalignment on the fused images. Experiments with several data sets show that the proposed algorithm performs better than state-of-the-art.

  We then take into account the joint MEF and noise removal. Both tasks are performed simultaneously in the DCT domain, which leads to a very efficient algorithm. The method takes advantage of spatio-temporal patch selection and collaborative 3D thresholding. Several experiments show that the obtained results are significantly superior to the existing state-of-the-art.

  Finally, we propose a patch-based method for the simultaneous denoising and High Dynamic Range of a sequence of multi-exposed RAW images. A spatio-temporal criterion is used to select similar patches along the sequence, and a weighted principal component analysis both denoises and fuses the multi-exposed data simultaneously. Several experiments show that the proposed method obtains state-of-the-art fusion results with real~RAW~data.

• català

  En aquesta tesi proposam nous algoritmes i tècniques per a dos problemes diferents en els camps del processament d'imatges i la visió per computador.

  En la primera part proposam una taxonomia bàsica dels contorns d'una imatge. El nostre objectiu és classificar corbes regulars en 5 categories: cercles, el·lipses, segments, arcs de cercle i arcs d'el·lipse. S'han triat aquestes estructures geomètriques per què poden ser utilitzades com a punt de partida en moltes tasques de visió per computador. L'estratègia proposada s'aplica a un conjunt inicial de contorns disjunts. Aquests després són validats fent servir una estratègia a contrario que garanteix un nombre reduït de falses deteccions. L'ús d'una estratègia multiescala permet la detecció a diversos nivells de resolució, cosa que fa que el mètode sigui robust al renou i a la borrositat.

  En la segona part, proposam tres mètodes per a la combinació d'imatges amb diferent temps d'exposició. Primer, proposam un nou algoritme per a la fusió d'imatges amb diferent temps d'exposició que és capaç de tractar seqüències on la càmara o els objectes de l'escena es mouen. Aquest algoritme descompon la imatge en entorns als quals se'ls aplica la transformada discreta del cosinus (DCT). Amb això, es combinen els coeficients dels entorns de les diferents imatges. També s'adapta l'algoritme per a seqüències dinàmiques, per tal d'eliminar els artefactes anomenats fantasma, que apareixen al fusionar imatges que no estan ben registrades. Els experiments duits a terme amb diversos conjunts de dades mostren que l'algoritme proposat obté millors resultats que els dels mètodes existents en la literatura.

  Després, ens focalitzam en la fusió i eliminació de renou de forma conjunta en imatges amb diferent temps d'exposició. Les dues tasques es poden dur a terme de forma simultània en el domini de la DCT, que permet crear un algoritme molt eficient. El mètode fa ús de la selecció espaciotemporal d'entorns i del llindar col·laboratiu tridimensional. Diversos experiments mostren que els resultats obtinguts són significativament superiors als mètodes existents en la literatura.

  Finalment, proposam un mètode basat en entorns per a dur a terme la creació d'una imatge amb alt rang dinàmic i l'eliminació de renou en una seqüència d'imatges RAW preses amb diferent temps d'exposició. S'utilitza un criteri espaciotemporal per a seleccionar els millors entorns de tota la seqüència i un anàlisis dels components principals ponderat permet eliminar el renou i dur a terme la fusió de forma simultània. Diversos experiments mostren que el mètode assoleix resultats a l'altura dels ja existents fent ús de dades RAW reals.