Resumen de Some problems in depth enjanced video processing
Vanel Lazcano González
En esta tesis se abordan dos problemas: interpolación de datos en el contexto del cálculo de disparidades tanto para imágenes como para video, y el problema de la estimación del movimiento aparente de objetos en una secuencia de imágenes. El primer problema trata de la completación de datos de profundidad en una región de la imagen o video dónde los datos se han perdido debido a oclusiones, datos no confiables, datos dañados o pérdida de datos durante la adquisición. En esta tesis estos problemas se abordan de dos maneras. Primero, se propone una energía basada en gradientes no-locales, energía que puede (localmente) completar planos.
En la primera parte de la tesis se considera este modelo como una extensión del filtro bilateral al dominio del gradiente. Se ha evaluado en forma exitosa el modelo para completar datos sintéticos y también mapas de profundidad incompletos de un sensor Kinect.
En la segunda parte de la tesis se presenta un segundo enfoque, para abordar el problema, es un estudio experimental del biased AMLE (Biased Absolutely Minimizing Lipschitz Extension) para interpolación anisotròpica de datos de profundidad en grandes regiones sin información. El operador AMLE es un interpolador de conos, pero el operador biased AMLE es un interpolador de conos exponenciales lo que lo hace estar más adaptado a mapas de profundidad de escenas reales (las que comúnmente presentan superficies convexas, concavas y suaves). Ademàs, el operador biased AMLE puede expandir datos de profundidad a regiones grandes. Considerando al dominio de la imagen dotado de una mètrica anisotròpica, el método propuesto puede tomar en cuenta información geométrica subyacente para no interpolar a travès de los límites de los objetos a diferentes profundidades. Se ha propuesto un modelo numérico, basado en el operador eikonal, para calcular la solución del biased AMLE. Adicionalmente, se ha extendido el modelo numèrico a sequencias de video.
En la tercera parte se afronta el problema del cálculo del flujo óptico que es uno de los problemas más desafiantes para la visión por computador. Los modelos tradicionales fallan al estimar el flujo óptico en presencia de oclusiones o iluminación no uniforme. Para abordar este problema se propone un modelo variacional para conjuntamente estimar flujo óptico y oclusiones. Además, el modelo propuesto puede tolerar, una limitación tradicional de los métodos variacionales, desplazamientos rápidos de objetos que son más grandes que el tamaño objeto en la escena. La adición de un término para el balance de gradientes e intensidades aumenta la robustez del modelo propuesto ante cambios de iluminación. La inclusión de correspondencias adicionales (obtenidas usando búsqueda exhaustiva en ubicaciones específicas) ayuda a estimar grandes desplazamientos.
Bibliografía Tomasi, C. and Manduchi, R. Bilateral filter for gray and color images. IEEE sixth International Vonference on Computer Vision, 839--846, 1998.
Digne, J., Dimicoli, M., Sabater, N. and Salembier, P. Neighborhood filters and the recovery of 3D information, Handbook of mathematical methods in imaging. Springer, 2010.
Aronsson, G. Extension of functions satisfyng Lipschitz conditions Aktiv fuer Mathematik 6(6), 551-- 561, 1967.
A. M. Oberman, A Convergent difference scheme for the infinity Laplacian: construction of Absolutely Lipschitz Extensions. Mathematics of Computation 74(251), 1217 --1230, 2005.
Caselles,V. and Igual, L. and Sander, O. An axiomatic approach to scalar data interpolation on surfaces. Numerische Mathematik 102 (3), 383 -- 411, 2006.
Xu, L. and Jia, J. and Matsushita, Y. Motion detail preserving optical flow estimation, Pattern Analysis and Machine Intelligence, IEEE Transactions on,34(9), 1744 -- 1757, 2012.
Stoll,M. and Volz,S. and Bruhn, A., Adaptive integration of features matches into variational optical Flow methods, Proc. of the Asian Conference in Computer Vision (ACCV), 1 -- 14, 2012.
