Experimentación en la búsqueda de imágenes a partir de características visuales y textuales: fusión tardía y expansión de la consulta

Abstract

La recuperación de información multimedia es uno de los retos que actualmente se afrontan en el entorno de la web o en grandes colecciones de objetos multimedia (audio, video, imágenes y textos). En este artículo se presenta la experimentación realizada para mejorar la calidad de la búsqueda en una colección de imágenes anotadas como es IAPR TC-12. Se muestra cómo la fusión multimedia mejora los resultados de búsquedas monomodales basadas solo en texto o en imagen, y además se propone una aproximación semántica para el subsistema textual a partir del análisis detallado de las anotaciones de la colección y de la expansión de las consultas, que mejora los resultados de todos los experimentos (automáticos) previos en la tarea de recuperación de imágenes con la misma colección.

Multimedia information retrieval is one of the main challenges addressed in the Web or in big multimedia collections (audio, video, image and text). This paper presents an experimentation to improve the search quality in an annotated images collection like IAPR TC-12. It is shown how multimedia fusion improves the monomodal search results based just in text or image, and it is also proposed a semantic approach in the textual subsystem based on a detailed analysis of the annotations of the collection and in the query expansion, which improves previous results of all (automatic) experiments in the image retrieval task.