Evaluación de resúmenes automáticos mediante QARLA

Abstract

Este artículo muestra la aplicación del marco de evaluación QARLA sobre los resúmenes evaluados en el foro DUC-2004, para las tareas 2 y 5. El marco QARLA permite evaluar de forma automática los sistemas según diferentes aspectos (métricas de similitud) en relación a un conjunto de resúmenes modelo, identificando así los aspectos más deficitarios de las estrategias de resumen existentes. Por otro lado, el marco QARLA permite combinar y meta-evaluar diferentes métricas de similitud, otorgando más peso a los aspectos que caracterizan a los modelos en relación a los resúmenes automáticos.

This article shows an application of the QARLA evaluation framework on DUC-2004 (tasks 2 and 5). The QARLA framework allows to evaluate summaries with regard to different features. Second, it allows to combine and meta-evaluate different similarity metrics, giving more weigh to metrics which characterize models (manual summaries) regarding automatic summaries.