Comparación de enfoques para evaluar la validación de respuestas

• Autores: Álvaro Rodrigo Yuste, Anselmo Peñas Padilla , María Felisa Verdejo Maíllo
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 43, 2009, págs. 277-285
• Idioma: español
• Títulos paralelos:
  • Comparing approaches for evaluating question answering validation
• Enlaces
  • Texto completo
• Resumen
  • español

    La Validación de Respuestas ha sido vista recientemente como un problema de clasificación donde se puede introducir aprendizaje automático con el propósito de mejorar los resultados de los sistemas de Búsqueda de Respuestas. La naturaleza no balanceada de las colecciones ha llevado al uso de medidas de evaluación basadas en precisión y cobertura. Sin embargo, para este tipo de evaluaciones se suele usar más análisis ROC (Relative Operating Characteristic). En este artículo se comparan ambos enfoques de acuerdo a sus fundamentos, su estabilidad en función del tamaño de las colecciones, su poder de discriminación y su adecuación a las particularidades de la Validación de Respuestas.

  • English

    The Validation of Answers has been seen recently as a classification problem able to introduce Machine Learning for improving Question Answering results. The unbalanced nature of collections has led to the use of measures based on precision and recall. However, Relative Operating Characteristic (ROC) analysis is preferred sometimes in similar classification tasks. In this article we compare both approaches according to their rationale, their stability with respect to the size of the collection, their discriminative power and their adequacy to the particularities of the Answer Validation task.