Evaluación del Enlazado de Entidades para Sistemas Pregunta-Respuesta sobre Grafos de Conocimiento

• Autores: Álvaro Rodrigo Yuste, Anselmo Peñas Padilla , Guillermo Echegoyen
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 63, 2019, págs. 121-128
• Idioma: español
• Títulos paralelos:
  • Benchmarking Entity Linking for Question Answering over Knowledge Graphs
• Enlaces
  • Texto completo
• Resumen
  • español

    El Enlazado de Entidades (EE) consiste en asociar partes de un texto con nodos de una Base de Conocimiento (BC). A pesar de que se ha prestado bastante atención a la tarea de EE en documentos, apenas hay estudios relativos a su impacto en el campo de la Búsqueda de Respuestas (BR). En este trabajo estudiamos la composición de varias colecciones de BR y realizamos varias observaciones relativas a su adecuación para evaluar sistemas BR, especialmente en lo relativo a realizar EE. También proponemos un método semiautomático para crear colecciones de EE en el contexto de BR reaprovechando colecciones existentes de BR. Posteriormente, aplicamos nuestro método a varias colecciones actuales de BR, analizamos los resultados obtenidos y ponemos a disposición de la comunidad científica la colección de EE generada, incluyendo un subconjunto que contiene los ejemplos donde es más difícil realizar EE. Consideramos que la disponibilidad de esta nueva colección permitirá una mejor evaluación de la tarea de EE en el contexto de la BR.

  • English

    Entity Linking (EL) is the process of anchoring a part of a question to a node (entity) already known in a Knowledge Base (KB). Although EL has been widely studied with large documents such as webpages, there have not been studies about its impact on Question Answering (QA). In this paper, we study benchmarks for QA and how they are composed, providing insights about its suitability for a real evaluation about the state of the art in QA, specillay if we want to take into account the subtask of EL. We propose a semi-automatic method to generate an EL dataset linked to the QA task taking advantage of pre-existing QA datasets. We apply this method to benchmarking QA collections, analyze the results and release the created dataset to the research community, including a subset focused on complex EL in QA. We believe that EL e ectiveness in the context of QA can be better assessed through the use of the proposed dataset. |

• Referencias bibliográficas
  • Artiles, J., A. Borthwick, J. Gonzalo, S. Sekine, and E. Amigó. 2010. Weps3 evaluation campaign: Overview of the web people search clustering...
  • Berant, J., A. Chou, R. Frostig, and P. Liang. 2013. Semantic parsing on freebase from question-answer pairs. In EMNLP 2013, pages 1533–1544.
  • Bollacker, K., C. Evans, P. Paritosh, T. Sturge, and J. Taylor. 2008. Freebase: a collaboratively created graph database for structuring human...
  • Chen, L., J. Liang, C. Xie, and Y. Xiao. 2018. Short text entity linking with finegrained topics. In CIKM ’18, pages 457– 466, New York, NY,...
  • Guo, S., M.-W. Chang, and E. Kıcıman. To link or not to link? a study on end-toend tweet entity linking. In Proceedings of NAACL-HLT, pages...
  • Lehmann, J., R. Isele, M. Jakob, A. Jentzsch, D. Kontokostas, P. Mendes, S. Hellmann, M. Morsey, P. Van Kleef, S. Auer, and C. Bizer. 2014....
  • Levenshtein, V. 1966. Binary Codes Capable of Correcting Deletions, Insertions and Reversals. Soviet Physics Doklady, 10.
  • Mcnamee, P. and H. T Dang. 2009. Overview of the tac 2009 knowledge base population track. In Proceedings of the Second Text Analysis Conference.
  • Rizzo, G., M. van Erp, J. Plu, and R. Troncy. 2016. Making Sense of Microposts (#Microposts2016) Named Entity rEcognition and Linking (NEEL)...
  • Shekarpour, S., K. M. Endris, A. J. Kumar, D. Lukovnikov, K. Singh, H. Thakkar, and C. Lange. 2016. Question answering on linked data: Challenges...
  • Trivedi, P., G. Maheshwari, M. Dubey, and J. Lehmann. 2017. Lc-quad: A corpus for complex question answering over knowledge graphs. In International...
  • Unger, C., C. Forascu, V. Lopez, A.-C. N. Ngomo, E. Cabrio, P. Cimiano, and S. Walter. 2014. Question Answering over Linked Data (QALD-4)....