Evaluación del algoritmo de fusión documental 2stepRSV en un sistema de búsqueda de respuestas multilingüe

Abstract

En este artículo se evalúa el rendimiento del algoritmo de fusión documental 2stepRSV como parte de un sistema de Búsqueda de Respuestas multilingüe. En estos sistemas el usuario puede formular su consulta en diversos idiomas, y puede obtener la respuesta a partir de colecciones documentales escritas igualmente en diversos idiomas. En concreto, el sistema propuesto denominado BRUJA soporta los idiomas inglés, español y francés tanto en la formulación de la consulta como en la base documental sobre la que se realiza la búsqueda. Se ha evaluado el rendimiento de 2stepRSV atendiendo a dos criterios: por un lado se ha comparado 2stepRSV con dos de los algoritmos de fusión documental más conocidos (Round-Robin y Raw-Scoring), y por otro se ha comparado el sistema multilingüe con el rendimiento que se habría obtenido en caso de que el idioma de la consulta y el de la respuesta fuera el mismo (búsqueda de respuestas monolingüe). En ambos casos 2stepRSV obtiene mejoras consistentes, entre un 15 % y un 35 %, respecto al rendimiento global de BRUJA.

This paper presents the evaluation of the performance of the document fusion algorithm 2stepRSV as a part of a multilingual Question Answering system. The user makes questions in several languages and obtains answers extracted from document collections in different languages. The proposed system, called BRUJA, supports English, Spanish and French languages, for questions and document collections. We have evaluated the performance of the 2stepRSV approach according to the following motivations: on the one hand, we have compared the 2stepRSV algorithm with two algorithms related to the documents merging Round-Robin and Raw-Scoring); on the other hand, we have compared the results obtained with this multilingual system vs a monolingual one. In both cases, the 2stepRSV algorithm obtains consistent improvements, between 15 % and 35 %, with regard to the overall system performance.