Resumen de Applications du transport optimal et des méthodes non locales à la fusion d’images hyperspectrales et Multispectrales

Jamila Mifdal

• español

  En esta disertación se presentan varios métodos para tratar la fusión de imágenes hiperspectral y multiespectrales. La primera parte de la tesis utiliza herramientas de la teoría del transporte óptimo, es decir, las distancias regularizadas de Wasserstein. El problema de fusión se modela así como la minimización de la suma de dos distancias regularizadas de Wasserstein. Cada una de estas distancias recupera las características espectrales o espaciales que contienen las imágenes de entrada. En la segunda parte de esta tesis, el problema de la fusión hiperspectral y multiespectral se presenta de manera diferente. Este último se modeliza como la minimización de cuatro términos energéticos. El primer término es un regularizador no local que explica la mala posición del problema. A lo largo del período de regularización, la imagen fusionada se ve obligada a compartir los detalles geométricos hasta de la imagen multiespectral. El segundo y el tercer términos están relacionados con el modelo de generación de datos, su minimización obliga la imagen fusionada a mantenerse lo más cerca posible de la imagen hiperspectral y multiespectral. El último término del modelo de fusión es una restricción radiométrica. Los resultados experimentales se llevaron a cabo en múltiples conjuntos de datos y la fusión se evaluó visualmente y cuantitativamente. El rendimiento de ambos modelos se compara favorablemente con los métodos de última generación Introducción: Esta tesis está relacionada con el campo del procesamiento de imágenes. Más concretamente, se presentan varios métodos relacionados con la fusión hiperspectral y multiespectral Contenido de la investigación: La primera parte de la tesis utiliza herramientas de la teoría del transporte óptimo, a saber, las distancias de Wasserstein regularizadas. El problema de fusión se modela así como la minimización de la suma de dos distancias de Wasserstein regularizadas. En la segunda parte de esta tesis, el problema de la fusión hiperespectral y multiespectral se presenta de manera diferente. Este último se modela como la minimización de cuatro términos energéticos.

  Conclusión: se llevaron a cabo resultados experimentales en múltiples conjuntos de datos y se evaluó la fusión visual y cuantitativamente. El rendimiento de ambos modelos se compara favorablemente con los métodos de última generación

• català

  En aquesta dissertació es presenten diversos mètodes per tractar la fusió d'imatges hiperspectrals i multiespectrals. La primera part de la tesi utilitza eines de la teoria del transport òptim, és a dir, les distàncies regularitzades de Wasserstein. El problema de fusió es modela així com la minimització de la suma de dues distàncies regularitzades de Wasserstein. Cadascuna d’aquestes distàncies recupera les característiques espectrals o espacials que contenen les imatges d’entrada. A la segona part d’aquesta tesi, el problema de la fusió hiperspectral i multiespectral es presenta de manera diferent. Aquest últim es modelitza com la minimització de quatre termes energètics. El primer terme és un regularitzador no local que explica la mala posició de el problema. Al llarg del període de regularització, la imatge fusionada es veu obligada a compartir els detalls geomètrics fins de la imatge multiespectral. El segon i el tercer termes estan relacionats amb el model de generació de dades, la seva minimització obliga la imatge fusionada a mantenir-se el més a prop possible de la imatge hiperspectral i multiespectral. L’últim terme del model de fusió és una restricció radiomètrica. Els resultats experimentals es van dur a terme en múltiples conjunts de dades i la fusió es va avaluar visualment i quantitativament. El rendiment d’ambdós models es compara favorablement amb els mètodes d’última generació.

  Introducció: Aquesta tesi està relacionada amb el camp del processament d’imatges. Més concretament, es presenten diversos mètodes relacionats amb la fusió hiperspectral i multiespectral Contingut de la investigació: La primera part de la tesi utilitza eines de la teoria del transport òptim, és a dir, les distàncies regularitzades de Wasserstein. El problema de fusió es modela així com la minimització de la suma de dues distàncies regularitzades de Wasserstein. A la segona part d’aquesta tesi, el problema de la fusió hiperspectral i multiespectral es presenta de manera diferent. Aquest últim es modelitza com la minimització de quatre termes energètics.

  Conclusió: es van dur a terme resultats experimentals en múltiples conjunts de dades i es va avaluar la fusió visual i quantitativament. El rendiment d’ambdós models es compara favorablement amb els mètodes d’última generació.

• English

  In this dissertation various methods for dealing with hyperspectral and multispectral image fusion are presented. The first part of the thesis uses tools from the optimal transport theory namely the regularized Wasserstein distances. The fusion problem is thus modeled as the minimization of the sum of two regularized Wasserstein distances. Each one of these distances recovers either the spectral or the spatial characteristics contained in the input images. In the second part of this thesis, the hyperspectral and the multispectral fusion problem is presented differently. The latter is modeled as the minimization of four energy terms. The first term is a nonlocal regularizer that accounts for the ill-posedness of the problem. Throughtout the term of regularization, the fused image is forced to share the fine geometric details of the multispectral image. The second and the third terms are related to the data generation model, their minimization forces the fused image to stay as close as possible to the hyperspectral and the multispectral image. The last term of the fusion model is a radiometric constraint. Experimental results were conducted on multiple datasets and the fusion was assessed visually and quantitatively. The performance of both models compares favorably with the state-of-the-art methods..

  Introduction: This thesis is related to the image processing field. More concretely, various methods are presented dealing with the hyperspectral and multispectral fusion.

  Research content: The first part of the thesis uses tools from the optimal transport theory namely the regularized Wasserstein distances. The fusion problem is thus modeled as the minimization of the sum of two regularized Wasserstein distances. In the second part of this thesis, the hyperspectral and the multispectral fusion problem is presented differently. The latter is modeled as the minimization of four energy terms.

  Conclusion: Experimental results were conducted on multiple datasets and the fusion was assessed visually and quantitatively. The performance of both models compares favorably with the state-of-the-art methods.