Evaluación de sistemas de recuperación de la información web sobre dominios restringidos

• Autores: Javier Fernández Martínez, José María Gómez, Patricio Martínez Barco
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 45, 2010, págs. 273-276
• Idioma: español
• Títulos paralelos:
  • Evaluation of Web Information Retrieval Systems on Restricted Domains
• Enlaces
  • Texto completo
• Dialnet Métricas: 1 Cita
• Resumen
  • español

    Tradicionalmente, en tareas de recuperación de información, se han utilizado los métodos de evaluación definidos en foros internacionales como el TREC o el CLEF. Dichos métodos se basan, principalmente, en la cobertura y precisión a partir de los juicios de relevancia de las primeras n respuestas de cada sistema para un conjunto de consultas iniciales. En la práctica, cuando un buscador se aplica a la Web, los usuarios no quieren una alta cobertura sino una alta precisión para obtener páginas muy relevantes en las primeras posiciones. Es por ello que hemos adaptado los métodos de evaluación de estos foros valorando más la precisión que la cobertura. Finalmente, se ha puesto en práctica éste nuevo método de evaluación comparando dos buscadores web sobre un dominio restringido: oportunidades de negocio y exportación de productos.

  • English

    Traditionally, information retrieval systems are assessed using the same evaluation methods as proposed in the international forums, like TREC or CLEF. Such methods mainly focus on the recall and precision obtained from the relevance judgements of the first n answers each system provides for a set of initial queries. In practice, when applying a search engine to the Web, users do not want a high recall but a high precision in order to obtain really relevant pages at the first places. Therefore, in this paper we have adapted the evaluation methods of these forums so that precision is given more importance than recall. To test this new evaluation method, two web search engines are compared within the following restricted domains: business oportunities and product exports.

• Referencias bibliográficas
  • Broder, Andrei, Ravi Kumar, Farzin Maghoul, Prabhakar Raghavan, Sridhar Rajagopalan, Raymie Stata, Andrew Tomkins, y Janet Wiener. 2000. Graph...
  • Gulli, Antonio y Alessio Signorini. 2005. The indexable web is more than 11.5 billion pages. En WWW '05: Special interest tracks and posters...
  • Hawking, David, Nick Craswell, Peter Bailey, y Kathleen Griffihs. 2001. Measuring search engine quality. Information Retrieval, 4(1):33– 59.
  • Ntoulas, Alexandros, Junghoo Cho, y Christopher Olston. 2004. What’s new on the web?: the evolution of the web from a search engine perspective....
  • Sahami, Mehran, Vibhu Mittal, Shumeet Baluja, y Henry Rowley. 2004. The happy searcher: Challenges in web information retrieval. En PRICAI...
  • Silverstein, Craig, Hannes Marais, Monika Henzinger, y Michael Moricz. 1999. Analysis of a very large web search engine query log. SIGIR Forum,...
  • Voorhees, Ellen M. y Donna K. Harman. 2005. TREC: Experiment and Evaluation in Infor- mation Retrieval. Digital Libraries and Electronic Publishing....