Comparación de enfoques para evaluar la validación de respuestas

Abstract

La Validación de Respuestas ha sido vista recientemente como un problema de clasificación donde se puede introducir aprendizaje automático con el propósito de mejorar los resultados de los sistemas de Búsqueda de Respuestas. La naturaleza no balanceada de las colecciones ha llevado al uso de medidas de evaluación basadas en precisión y cobertura. Sin embargo, para este tipo de evaluaciones se suele usar más análisis ROC (Relative Operating Characteristic). En este artículo se comparan ambos enfoques de acuerdo a sus fundamentos, su estabilidad en función del tamaño de las colecciones, su poder de discriminación y su adecuación a las particularidades de la Validación de Respuestas.

The Validation of Answers has been seen recently as a classification problem able to introduce Machine Learning for improving Question Answering results. The unbalanced nature of collections has led to the use of measures based on precision and recall. However, Relative Operating Characteristic (ROC) analysis is preferred sometimes in similar classification tasks. In this article we compare both approaches according to their rationale, their stability with respect to the size of the collection, their discriminative power and their adequacy to the particularities of the Answer Validation task.