Experimentación en la Búsqueda de Imágenes a partir de Características Visuales y Textuales: Fusión Tardía y Expansión de la Consulta

• Autores: Rubén Granados Muñoz, Ana M. García Serrano , Noelia Méndez Fernández, Xaro Benavent García
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 48, 2012, págs. 73-80
• Idioma: español
• Títulos paralelos:
  • Experimentation in image search based on visual and textual features: late fusion and query expansion
• Enlaces
  • Texto completo
• Resumen
  • español

    La recuperación de información multimedia es uno de los retos que actualmente se afrontan en el entorno de la web o en grandes colecciones de objetos multimedia (audio, video, imágenes y textos). En este artículo se presenta la experimentación realizada para mejorar la calidad de la búsqueda en una colección de imágenes anotadas como es IAPR TC-12. Se muestra cómo la fusión multimedia mejora los resultados de búsquedas monomodales basadas solo en texto o en imagen, y además se propone una aproximación semántica para el subsistema textual a partir del análisis detallado de las anotaciones de la colección y de la expansión de las consultas, que mejora los resultados de todos los experimentos (automáticos) previos en la tarea de recuperación de imágenes con la misma colección.

  • English

    Multimedia information retrieval is one of the main challenges addressed in the Web or in big multimedia collections (audio, video, image and text). This paper presents an experimentation to improve the search quality in an annotated images collection like IAPR TC-12. It is shown how multimedia fusion improves the monomodal search results based just in text or image, and it is also proposed a semantic approach in the textual subsystem based on a detailed analysis of the annotations of the collection and in the query expansion, which improves previous results of all (automatic) experiments in the image retrieval task.

• Referencias bibliográficas
  • Ah-Pine, J., C. Cifarelli, S. Clinchant, G. Csurka, J.M. Renders. 2008. XRCE’s Participation to ImageCLEF 2008. En (Peters, 2008).
  • Arni, T., Clough, P., Sanderson, M., Grubinger, M. 2009. Overview of the ImageCLEFphoto 2008 Photographic Retrieval Task. LNCS 5706 .
  • Atrey, P.K., M.A. Hossain, A. El Saddik, M.S. Kankanhalli. 2010. Multimodal Fusion for Multimedia Analysis: A Survey. Multimedia Systems 16:...
  • Benavent, J., X. Benavent, E. de Ves, R. Granados, A. García-Serrano. 2010. Experiences at ImageCLEF 2010 using CBIR and TBIR Mixing Inf....
  • Chang, Y., H. Chen. 2008. Increasing Relevance and Diversity in Photo Retrieval by Result Fusion. En (Peters, 2008).
  • Demerdash, O., L. Kosseim, S. Bergler. CLaC at ImageCLEFPhoto 2008. En (Peters, 2008).
  • Gao, S., J. Chevallet, J. Lim. 2008. IPAL at CLEF 2008: Mixed-Modality based Image Search, Novelty based Re-ranking and Extended Matching....
  • García-Serrano, A., X. Benavent, R. Granados, J. M. Goñi-Menoyo. 2008. Some results using different approaches to merge visual and textbased...
  • Granados, R., García-Serrano, Ana., Goñi, J.M. 2009. La herramienta IDRA (Indexing and Retrieving Automatically). XXV Conferencia SEPLN, San...
  • Grubinger, M., P. Clough, H. Müller, T. Deselaers. 2006. The IAPR TC-12 Benchmark: A New Evaluation Resource for Visual Information Systems....
  • Hair, H., J. González, C. Hernández, A. López, M. Montes, E. Morales, L. Sucar, L. Villaseñor. TIA-INAOE Participation at ImageCLEF 2008....
  • Méndez, N. 2011. Modelo de Búsqueda con Información Semántica: Experimentos sobre la colección IAPR TC-12. Tesis de Master. ETSI Informática,...
  • O'Hare, N., P. Wilkins, C. Gurrin, E. Newman, G.Jones, A. Smeaton. 2008. DCU at ImageCLEFPhoto 2008. En (Peters, 2008).
  • Overell, S., A. Llorente, H. Liu, R. Hu, A. Rae, J. Zhu, D. Song, S. Rüger. 2008. MMIS at ImageCLEF 2008: Experiments combining Different...
  • Peters, C. Working Notes for the CLEF 2008 Workshop. 2008. ISBN: 2-912335-43-4.
  • Snoek, C., M. Worring, J. van Gemert, J. Geusebroek, A. Smeulders. 2006. The Challenge Problem for Automated Detection of 101 Semantic Concepts...
  • Tsikrika, T., A. Popescu, J. Kludas. 2011. Overview of the Wikipedia Image Retrieval Task at ImageCLEF 2011. CLEF (Notebook Papers/Labs/Workshop).
  • Wilhelm, T., J. Kürsten, M. Eibl. 2008. The Xtrieval Framework: ImageCLEF Photographic Retrieval Task. En (Peters, 2008).