Evall: A Framework for Information Systems Evaluation

• Autores: Julio Gonzalo Arroyo , María Felisa Verdejo Maíllo , Enrique Amigó , Jorge Carrillo de Albornoz
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 57, 2016, págs. 189-192
• Idioma: inglés
• Títulos paralelos:
  • Evall: Una Plataforma para la Evaluación de Sistemas de Información
• Enlaces
  • Texto completo
• Resumen
  • español

    En este artículo presentamos Evall, un framework de evaluación para tareas de investigación en el área de Sistemas de Información. Con un simple click y las salidas de los algoritmos a evaluar, Evall genera un informe automático en Latex con los resultados de todos los sistemas, test de significacia estadística, descripción de las métricas, y referencias.

  • English

    In this paper, the Evall framework for the automatic evaluation of information systems task is presented. With just one click and providing the system outputs of the algorithms, Evall allows researchers to automatically generate a Latex report including the results of their algorithms, statistical significance tests, measures descriptions, and references.

• Referencias bibliográficas
  • Amigó, E., J. Gonzalo, and F. Verdejo. 2013. A general evaluation measure for document organization tasks. In Proceedings of the 36th International...
  • Cohen, J. 1960. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1):37.
  • Cormack, G. V. and T. R. Lynam. 2005. Trec 2005 spam track overview. In TREC.
  • Ghosh, J. 2003. Scalable clustering methods for data mining. In N. Ye, editor, Handbook of Data Mining. Lawrence Erlbaum.
  • Halkidi, M., Y. Batistakis, and M. Vazirgiannis. 2001. On Clustering Validation Techniques. J. of Int. Inf. Syst., 17(2-3):107-145.
  • Hull, D. A. 1998. The TREC-7 filtering track: description and analysis. In Proc. of TREC-7, 7th Text Retrieval Conf., pages 33-56.
  • Järvelin, K. and J. Kekäläinen. 2002. Cumulated gain-based evaluation of ir techniques. ACM Trans. Inf. Syst., 20:422-446, October.
  • Meila, M. 2003. Comparing clusterings. In Proceedings of COLT 03.
  • Moffat, A. and J. Zobel. 2008. Rankbiased precision for measurement of retrieval effectiveness. ACM Trans. Inf. Syst., 27(1):2:1-2:27, December.
  • Steinbach, M., G. Karypis, and V. Kumar. 2000. A comparison of document clustering techniques.
  • Xu, W., X. Liu, and Y. Gong. 2003. Document clustering based on non-negative matrix factorization. In Proc. of the 26th annual Int. ACM SIGIR...