Resumen de The influence of semantic roles in QA: a comparative analysis

Paloma Moreda Pozo , Héctor Llorens Martínez, Manuel Palomar Sanz

• español

  Los conjuntos de preguntas utilizados normalmente para evaluar los sistemas de búsqueda de respuestas (BR) están principalmente constituidos por preguntas cuyas respuestas son entidades nombradas (NE), por tanto, la mayoría de estos sistemas usan reconocedores de entidades para extraer las posibles respuestas. Últimamente, el etiquetado de roles semánticos y su contribución a la BR es un tema de especial interés. Sin embargo, los sistemas basados en NEs siempre funcionarán mejor que los basados en roles a la hora de extraer respuestas para preguntas cuya respuesta sea una NE. El objetivo de este artículo es evaluar ambos métodos para preguntas de lugar bajo las mismas condiciones, usando, no sólo preguntas basadas en nombres propios sino también basadas en nombres comunes. Para ello se presentan tres propuestas diferentes de un módulo de extracción de respuestas embebidas en un sistema de BR: una basada en entidades nombradas y dos basadas en roles semánticos. Los resultados obtenidos indican que mientras la propuesta de NE contesta mejor las preguntas basadas en nombres propios (+49,57% MRR), las propuestas de roles obtienen los mejores resultados en las preguntas basadas en nombres comunes (+223,48% MRR) siendo sus resultados de una precisión más alta para ambos tipos de preguntas.

• English

  Question sets normally used to evaluate QA systems are mainly based on questions whose answers are named entities, therefore most of these systems rely on NERs to extract possible answers. Nowadays, semantic role labeling and its contribution to question answering has recently become an interesting issue. Nevertheless, NE-based systems will always work better than SR-based ones extracting answers for questions with NE-based answers. The aim of this paper is to evaluate both of approaches for location questions under the same conditions and using not only NE-based questions but also common noun-based ones. In order to achieve this goal we present three different proposals of an answer extraction module embedded into a QA system: one based on named entities and two based on semantic roles. Results show that while NE-based approach performs better with NE-based questions (MRR +49.57%), SR-based approaches show the best results in common noun-based ones (MRR +223.48%) and obtain a higher precision in both types of questions.