Contributions to regularized ill-posed inverse problems in digital imaging

Abstract

[cat] La majoria de problemes en el processament d’imatges són problemes inversos mal posats. Inversos perquè disposem del resultat final del procés de formació de la imatge i volem obtenir informació de l’escena real, i mal posats perquè durant aquest procés es descarta o simplifica bona part de la informació observada. Una manera de solucionar aquest tipus de problemes consisteix a incorporar hipòtesis sobre el tipus de resultat que es vol. La teoria de regularització, segons la qual la imatge subjacent ha de ser prou regular, s’ha convertit en una eina de recerca molt útil. En aquesta tesi, proposem avenços en la regularització de problemes inversos mal posats des del punt de vista variacional, això és, mitjançant la minimització de funcionals que assignen energies elevades a l’incompliment de les hipòtesis preestablertes. La variació total és un model convex que permet discontinuïtats però penalitza les oscil•lacions de la imatge. Malgrat les deficiències teòriques sobre l’existència de solucions i sobre la convergència de successions minimitzants, els models no-convexos han donat millors resultats en tests numèrics. En aquest sentit, proposem un algorisme dual per minimitzar funcionals compostos per un terme de fidelitat, el qual inclou un operador lineal arbitrari, i un terme de regularització no-convex. El model es basa en l’ús d’una variable auxiliar que detecta correctament els contorns dels objectes i els preserva de la regularització. Degut a les propietats dels mínims, les solucions són imatges constants a trossos amb contorns ben definits, on el nombre de les regions i els seus valors no estan prefixats. En l’àmbit del processament d’imatges en color, considerem el seu gradient com una matriu tridimensional amb les dimensions corresponents als píxels, les diferències d’intensitat entre píxels i els canals. El grau de regularització es mesura prenent diferents normes al llarg de cada dimensió, donant lloc a nous i diferents mètodes de regularització. A més, demostrem que emprar la norma del suprem per acoblar els canals proporciona el major potencial per reduir els artefactes de color. L’aportació experimental consisteix en una extensa anàlisi en l’eliminació del renou, els efectes borrosos i les oclusions. Ens ocupem també de la fusió d’imatges satèl•lit, un procés pel qual s’infereix una imatge multiespectral d’alta resolució a partir d’una imatge pancromàtica d’alta resolució i diversos canals espectrals de baixa resolució. En aquest context, proposem un model variacional no-local que té en compte el procés d’adquisició de les dades. Matemàticament, formalitzem un context per als operadors no-locals amb pesos no-simètrics que ens permet provar l’existència i unicitat de mínim. Tot i obtenir resultats convincents, el model proposat requereix que totes les dades estiguin co-registrades, la qual cosa no se satisfà en imatges satèl•lit. A més, registrar les dades no és recomanable degut al fort aliàsing de les components espectrals. Introduïm, doncs, un segon funcional que desacobla per canals permetent la seva aplicació a dades no co-registrades. La majoria de càmeres fotogràfiques utilitzen un sensor que mesura un sol color per píxel. Demosaicing és el procés d’interpolació mitjançant el qual s’infereix una imatge en color a partir d’aquesta màscara. Els mètodes clàssics aprofiten la correlació entre canals per seleccionar localment la millor direcció d’interpolació. Quan la geometria no es pot deduir a partir dels píxels veïns o quan la correlació entre canals és baixa, els resultats presenten artefactes diversos. En la darrera part d’aquesta tesi es proposa un algorisme que empra la regularització no-local amb l’objectiu de reduir els artefactes de color i, a més, quantifica de manera clara i intuïtiva el nivell de correlació entre canals que ha de ser considerat.

[eng] Most of image processing tasks may be viewed as ill-posed inverse problems. Inverse because one takes the end result of the physical process of imaging and wants to deduce something about the scene being observed, and ill-posed because much of the information in the scene is discarded or simplified along the image processing chain. In order to solve such problems, people aim at finding useful and realistic priors about the solution one expects. The regularization theory, which assumes that the image which is to be reconstructed is sufficiently smooth, has emerged as a promising direction of research. In this thesis, we propose new solutions to regularized ill-posed inverse problems within the variational framework, namely through the minimization of functionals that induce a high energy when the priors are not fulfilled. Total variation is a convex variational model that allows discontinuities, yet it disfavours the solution to have oscillations if appropriate boundary conditions are selected. Despite theoretical deficiencies about the existence of solutions and the convergence of minimizing sequences, nonconvexity has proved to give better results in numerical tests. In this framework, we propose a dual strategy to minimize functionals composed of a fidelity-term involving an arbitrary linear operator and a nonsmooth nonconvex regularization term. The procedure introduces a closed-form variable that correctly detects edges and preserves them from smoothing. Because of the properties of the minimizers, the solutions are asymptotically piecewise constant images with neat edges, where the number of the regions and their values are not fixed in advance from noisy and blurred data. In the color imaging field, we consider the gradient of a vector-valued image as a three dimensional matrix with dimensions corresponding to the spatial extent, the differences to other pixels, and the color channels. The smoothness is measured by taking different collaborative sparsity enforcing norms along each dimension, which leads to novel and very different regularization methods. We further prove that coupling the channels with the supremum norm makes the most prior assumptions and has the greatest potential to reduce color artifacts. An extensive experimental analysis of a large number of these methods for image denoising, deblurring, and inpainting is provided. We subsequently deal with satellite pansharpening, a fusion process that infers a high-resolution multispectral image from a high-resolution panchromatic image and several low-resolution spectral bands. In this setting, we propose a variational model that incorporates a nonlocal regularization term and two fidelity terms related to the image acquisition system. Mathematically, we formalize a systematic framework for nonlocal operators with nonsymmetric weights, which allows proving the existence and uniqueness of minimizer. Although convincing results on simulated data are obtained, the proposed model needs all components to be co-registered, which is not the case for satellite imagery. Furthermore, the registration is highly not recommended because of the strong aliasing of spectral components. Therefore, we design a second functional which decouples for each spectral band, thus permitting its application to non co-registered data. Common cameras use a sensor device measuring a single color per pixel. Demosaicking is the interpolation process by which a full color image is inferred from such values. State-of-the-art methods take advantage of inter-channel correlation locally selecting the best direction of interpolation. However, the results suffer from annoying artifacts when local geometry cannot be estimated from neighboring pixels or channel correlation is low. In this thesis, we finally propose a demosaicking algorithm involving nonlocal image self-similarity, which reduces interpolation artifacts. We also introduce a clear and intuitive manner of balancing how much inter-channel correlation must be taken advantage of.