Resumen de New Algorithms and Methodologies for Building Information Retrieval Collections
David Otero Freijeiro
- español
Los sistemas de recuperación de información desempeñan un papel crucial a la hora de satisfacer las necesidades de información de los usuarios, ayudándoles a explorar vastas colecciones de información. Esta tesis se enmarca en un aspecto crítico de la investigación en recuperación de información: la evaluación. En concreto, proponemos nuevos enfoques para crear colecciones de prueba. Éstas son esenciales para evaluar la eficacia de los sistemas de recuperación en experimentos controlados. Reflejar con precisión las condiciones del mundo real en estas colecciones es fundamental para avanzar en este campo. Nuestro objetivo es introducir técnicas innovadoras para construir colecciones anotadas que sean fiables, y facilitar así la investigación y el desarrollo en el campo de la recuperación de información. En primer lugar, la tesis propone un nuevo método para crear nuevas colecciones de prueba sin necesidad de costosas campañas de evaluación, simplificando y economizando el proceso. A continuación, presentamos un nuevo método de adjudicación para determinar qué documentos merecen un juicio humano, con el objetivo de reducir el numero de juicios expertos necesarios. Este método es rentable y eficiente. Además, la tesis presenta una nueva perspectiva de la evaluación de los métodos de adjudicación, haciendo hincapié en la significancia estadística, un aspecto que a menudo se pasa por alto en anteriores investigaciones sobre adjudicación de documentos. Finalmente, aplicamos los métodos explorados en esta tesis para construir una nueva colección de prueba, cuyo proceso de construcción describimos, para demostrar la utilidad de nuestras propuestas. En resumen, esta tesis integra conocimiento establecido en el campo con nuevas metodologías para así crear nuevas colecciones de prueba fiables y con bajo coste. Esta combinación es crucial para avanzar en el desarrollo de sistemas de recuperación de información más efectivos.
- English
Information retrieval systems play a crucial role in addressing users’ information needs by aiding their exploration of vast collections of information. This thesis is framed in a critical information retrieval research aspect: evaluation. In particular, we propose new approaches for creating annotated test collections. Such collections are essential for evaluating retrieval systems’ effectiveness in controlled experiments. Reflecting real-world conditions accurately in these test collections is pivotal for progress in the field. We aim to introduce innovative techniques for efficiently assembling reliable test collections, facilitating broader research and development in information retrieval. The thesis first proposes a new method for building new pooled test collections without requiring costly evaluation campaigns. This approach simplifies and economizes the process of building new benchmarks. Then, we introduce a novel adjudication method for determining which pooled documents warrant human judgment, aiming to reduce the need for extensive expert assessments. This method is both cost-effective and efficient. Additionally, the thesis presents a fresh perspective on evaluating adjudication methods, emphasizing statistical significance, an aspect often overlooked in previous document adjudication research. As a demonstration of the methods explored in this thesis, we applied them to develop a new test collection whose construction process we describe here as an example of the use of reduced-budget methods. In summary, this thesis integrates established information retrieval knowledge with new methodologies to create annotated collections that are both cost-effective and reliable. This fusion is crucial for advancing the development of more effective retrieval systems.
- galego
Os sistemas de recuperación de información desempeñan un papel crucial á hora de satisfacer as necesidades de información dos usuarios, axudándolles a explorar vastas coleccións de información. Esta tese enmárcase nun aspecto crítico da investigación en recuperación de información: a avaliación. En concreto, propoñemos novos enfoques para crear coleccións de proba. Estas son esenciais para avaliar a eficacia dos sistemas de recuperación en experimentos controlados. Reflectir con precisión as condicións do mundo real nestas coleccións é fundamental para avanzar neste campo. O noso obxectivo é introducir técnicas innovadoras para construír coleccións anotadas que sexan fiables, e facilitar así a investigación e o desenvolvemento no campo da recuperación de información. En primeiro lugar, a tese propón un novo método para crear novas coleccións de proba sen necesidade de custosas campañas de avaliación, simplificando e economizando o proceso. A continuación, presentamos un novo método de adxudicación para determinar que documentos merecen un xuízo humano, co obxectivo de reducir o numero de xuízos expertos necesarios. Este método é rentable e eficiente. Ademais, a tese presenta unha nova perspectiva da avaliación dos métodos de adxudicación, facendo fincapé na significancia estatística, un aspecto que a miúdo se pasa por alto en anteriores investigacións sobre adxudicación de documentos. Finalmente, aplicamos os métodos explorados nesta tese para consruir unha nova colección de proba, cuxo proceso de construción describimos, para demostrar a utilidade das nosas propostas. En resumo, esta tese integra coñecemento establecido no campo con novas metodoloxías para así crear novas coleccións de proba fiables e con baixo custo. Esta combinación é crucial para avanzar no desenvolvemento de sistemas de recuperación de información máis efectivos.
