Resumen de Social signal processing from egocentric photo-streams
Maedeh Aghaei
Las ca´maras portables ofrecen una forma de capturar im´agenes de experiencias diarias vividas por el usuario, desde su propia perspectiva y sin la intervenci´on de este, sin la necesidad de interrumpir la grabacio´n debido a la bater´ıa del dispositivo o las limitaciones de almacenamiento. Este conjunto de im´agenes, conocidas como secuencias de fotos egoc´entricas, contiene datos visuales importantes sobre la vida del usuario, donde entre ellos los eventos sociales son de especial inter´es. Las interacciones sociales han demostrado ser clave para la longevidad, el tener pocas interacciones equivale al mismo factor de riesgo que fumar regularmente. Teniendo en cuenta la importancia del asunto, no es de extran˜ar que el ana´lisis autom´atico de las interacciones sociales atraiga en gran medida el inter´es de la comunidad cient´ıfica.
Sin embargo, el ana´lisis de secuencias de fotos impone nuevos desaf´ıos al problema del procesamiento de las sen˜ales sociales con respecto a los videos convencionales. Debido al movimiento libre de la ca´mara y a su baja resolucio´n temporal, los cambios abruptos en el campo de visio´n, en la iluminacio´n y en la ubicacio´n del objeto son frecuentes. Adema´s, dado que las ima´genes se adquieren en condiciones reales, las oclusiones ocurren con regularidad y la apariencia de las personas var´ıa de un evento a otro.
Dado que un individuo usa una ca´mara fotogra´fica durante un per´ıodo determinado, esta tesis, impulsada por el paradigma del procesamiento de sen˜ales sociales, presenta un marco para la caracterizaci´on integral del patr´on social de dicho individuo. En el procesamiento de sen˜ales sociales, el segundo paso despu´es de grabar la escena es rastrear la apariencia de varias personas involucradas en los eventos sociales. Por lo tanto, nuestra propuesta comienza con la introducci´on de un seguimiento de multiples caras que posee ciertas caracter´ısticas para hacer frente a los desaf´ıos impuestos por las secuencias de fotos egoc´entricas. El siguiente paso en el procesamiento de sen˜ales sociales es extraer las sen˜ales sociales de las personas bajo an´alisis. En este paso, adema´s de las sen˜ales sociales estudiadas convencionalmente, en esta tesis se propone la vestimenta como una nueva sen˜al social para estudios posteriores dentro del procesamiento de sen˜ales sociales. Finalmente, el u´ltimo paso, es el an´alisis de sen˜ales sociales. En esta tesis, el an´alisis de sen˜ales sociales se define esencialmente como la comprensio´n de los patrones sociales de un usuario de ca´mara portable, mediante la revisio´n de fotos capturadas por la ca´mara llevada durante un per´ıodo de tiempo. Nuestra propuesta para el ana´lisis de sen˜ales sociales se compone de diferentes pasos. En primer lugar, detectar las interacciones sociales del usuario donde se explora el impacto de varias sen˜ales sociales en la tarea. Los eventos sociales detectados se inspeccionan en el segundo paso para la categorizaci´on en diferentes reuniones sociales. El u´ltimo paso de la propuesta es caracterizar los patrones sociales del usuario. Nuestro objetivo es cuantificar la duraci´on, la diversidad y la frecuencia de las relaciones sociales del usuario en diversas situaciones sociales. Este objetivo se logra mediante el descubrimiento de apariciones recurrentes de personas en todo el conjunto de eventos sociales relacionados con el usuario.
Cada paso de nuestro m´etodo propuesto se valida sobre conjuntos de datos relevantes, y los resultados obtenidos se evalu´an cuantitativa y cualitativamente. Cada etapa del modelo, se compara con los trabajos relacionados m´as recientes. Tambi´en, se presenta una secci´on de discusio´n sobre los resultados obtenidos, que se centra en resaltar las ventajas, limitaciones y diferencias de los modelos propuestos, y de estos con respecto al estado del arte.
