Resumen de Multimodal Stereo from Thermal Infrared and Visible Spectrum

José Fernando Barrera Campo

• Recientes avances en im agenes t ermicas (LWIR) han permitido su uso en aplicaciones m as all a del ambito militar. Actualmente, esta nueva familia de sensor esta siendo incluida en diversas aplicaciones tanto t ecnicas como cient cas. Este tipo de sensores facilitan tareas tales como: detecci on de peatones, puntos calientes, detecci on de cambios de temperatura, entre otros. Caracter sticas que pueden mejorar signi cativamente el desempeo de un sistema, especialmente cuando hay interacci on con humanos. Por ejemplo, aplicaciones de v deo vigilancia, detecci on de peatones, an alisis de postura. En esta tesis se plantea entre otras la siguiente pregunta de investigaci on: Podr a un par de sensores operando en diferentes bandas del espectro electromagn etico, como el visible e infrarrojo t ermico, proporciona informaci on de profundidad? Si bien es una cuesti on compleja, nosotros demostramos que un sistema de estas caracter sticas es posible. Adem as, de discutir sus posibles ventajas, desventajas y oportunidades potenciales. La fusi on y correspondencia de los datos procedentes de diferentes sensores, como las emisiones registradas en la banda visible e infrarroja, representa un reto atractivo, ya que se ha demostrado que aquellas se~nales est an d ebilmente correlacionadas. Por lo tanto, muchas t ecnicas tradicionales de procesamiento de im agenes y visi on por computadora son inadecuadas, requiriendo ajustes para su correcto funcionamiento. En esta investigaci on se realizo un estudio experimental comparando diferentes funciones de costos multimodal, y t ecnicas de correspondencia, a n de construir un sistema est ereo multimodal. Tambi en, se identi c o el problema com un entre est ereo visible/ visible y infrarrojo/visible, particularmente en ambientes al aire libre. Entre las contribuciones de esta tesis se encuentra; el aislamiento de las diferentes etapas que componen un sistema est ereo multimodal. Esta arquitectura es gen erica a diferentes niveles, tanto computacional, funcional y estructural, permitiendo su extensi on a esquemas mas complejos tales como fusi on de alto nivel (sem antica) y de orden superior (supuestos). El enfoque propuesto est a destinado a explorar nuevos m etodos de correspondencia est ereo, pasando de una soluci on escasa a una densas (tanto en disparidad como en mapas de profundidad). Adem as, se ha incluido informaci on de contexto en forma de asunciones y restricciones. Finalmente, esta disertaci on muestra un promisorio camino hacia la integraci on de m ultiples sensores.