Analysis of image processing, machine learning and information fusion techniques for contact-less hand biometrics

Resumen

En esta tesis se han analizado diferentes técnicas de procesado de imagen, aprendizaje automático y fusión de la información en relación a su aplicabilidad a la biometría de mano sin contacto. Para ello se ha diseñado, implementado y evaluado un sistema modular y configurable que explota la naturaleza multimodal de la mano para incrementar su robustez y precisión. Dado el hecho de que no todas las aplicaciones tienen las mismas necesidades, el propósito principal de esta evaluación es proporcionar una comparativa objetiva de los distintos métodos bajo diferentes condiciones ambientales que ayude a adaptar el sistema a los requisitos específicos de precisión y tiempos de computación de aplicaciones concretas. Una segmentación correcta de la mano es necesaria para extraer características biométricas fiables e invariantes. Por este motivo, se ha realizado una comparativa de diferentes métodos de segmentación incluyendo enfoques bien conocidos como la umbralización global o los graph cuts, así como una nueva aproximación basada en inundación. Estos métodos han sido comparados utilizando diferentes bases de datos de imágenes que cubren un amplio espectro de condiciones de captura. Por otro lado, se ha llevado a cabo una completa evaluación de diferentes métodos de extracción de características de la huella palmar incluyendo filtrado de Gabor y Sobel, Patrones Binarios Locales, Patrones Derivativos Locales y Curvelets. Junto a las características de palma también se han extraído características de la geometría de la mano. Así mismo, se han probado también diferentes configuraciones de parámetros para cada uno de los métodos con el fin de encontrar la configuración que mejor se ajusta a cada uno de ellos. Además, esta evaluación incluye dos métodos de comparación de características: cómputo de distancias y máquinas de vector soporte. Adicionalmente, en esta tesis también se ha evaluado la viabilidad de combinar distintos métodos de extracción de características para conseguir una solución multimodal más precisa y robusta. La fusión de la información ha sido realizada a dos niveles diferentes: nivel de puntuaciones y nivel de características, y los resultados de ambos métodos han sido comparados. Finalmente, se ha propuesto una metodología de evaluación que permite la comparación objetiva entre distintos métodos. En concreto, se ha propuesto un protocolo de evaluación con el objetivo de no solo realizar una amplia evaluación del sistema bajo diferentes condiciones ambientales y probar distintas combinaciones de métodos para cada módulo, si no también proporcionar una base contra la que poder comparar futuras investigaciones. ----------ABSTRACT---------- In this thesis different techniques of image processing, machine learning and information fusion have been analysed in relation to their applicability to contact-less hand biometrics. To this end, a modular and configurable system that explodes the multimodal nature of the hand to increase its robustness and accuracy have been designed, implemented and evaluated. Given the fact that different applications have different accuracy and time performance needs, the evaluation is aimed to provide a fair comparative of methods under different environmental conditions that helps to adapt the system to the specific requirements of a concrete final application. A correct hand segmentation is necessary to extract reliable and invariant biometric features. For this reason, a comparative of different segmentation methods that include well-known methods such as global thresholding and graph cuts as well as a novelty flooding-based method which combines different image-based segmentation approaches. These methods have been compared using diverse datasets of images which cover a wide spectrum of capturing conditions. On the other hand, a comprehensive evaluation of different palmprint feature extraction methods comprising Gabor and Sobel filters, Local Binary Patterns, Local Derivative Patterns and Curvelets has been carried out. Different parameter configurations have also been tested with the aim of finding out which arrangement provides better results for each method. In addition to palmprint, also hand geometry features have been extracted. This evaluation includes also two different feature matching approaches: distance-based and Support Vector Machines. In addition, it has also been evaluated the feasibility of combining different feature extraction methods to yield into a more precise and robust multimodal solution. Two different levels for fusing the biometric information have been compared: score-level and feature-level. Finally, an evaluation methodology that allows for a fair comparison between different methods has been proposed. In particular, an evaluation protocol is offered with the aim of not only obtaining an extensive evaluation of the complete system under different environmental conditions, and testing multiple combinations of methods for each module, but also providing a basis against which to compare future research.