Evaluating n-gram Models for a Bilingual Word Sense Disambiguation Task

• David Pinto ^[1] ; Darnes Vilariño ^[1] ; Carlos Balderas ^[1] ; Mireya Tovar ^[1] ; Beatriz Beltrán ^[1]
  1. [1] Benemérita Universidad Autónoma de Puebla

     Benemérita Universidad Autónoma de Puebla

     México

     
• Localización: Computación y Sistemas (CyS), ISSN 1405-5546, ISSN-e 2007-9737, Vol. 15, Nº. 2, 2011, págs. 209-220
• Idioma: inglés
• Títulos paralelos:
  • Evaluación de modelos de n-gramas para la tarea de desambiguación bilingüe del sentido de las palabras
• Enlaces
  • Texto completo
• Resumen
  • español

    El problema de desambiguación del sentido de las palabras (WSD) consiste en seleccionar el sentido adecuado de una palabra polisémica, considerando el contexto en el que ésta se encuentra. Esta tarea se complica aún más cuando se desea desambiguar entre distintos idiomas; en el caso de dos idiomas, a este problema se le conoce como WSD bilingüe. Es necesario entonces no solamente encontrar la traducción correcta, sino también esta traducción debe considerar los sentidos de las palabras en el contexto de la oración original (en un idioma fuente), para encontrar el correcto sentido de la palabra ambigua (en un idioma destino). En este trabajo de investigación se presenta un modelo probabilístico para la desambiguación bilingüe basado en n-gramas (2-gramas, 3-gramas, 5-gramas y k-gramas, para una oración S de longitud k). El objetivo es analizar el comportamiento del sistema de desambiguación con diferentes representaciones de la oración que contiene la palabra ambigua. Para este propósito se usa el clasificador de Naïve Bayes para determinar la probabilidad de un sentido candidato (en un idioma destino), dada una oración que contiene la palabra ambigua (en un idioma fuente). Se emplea un diccionario estadístico bilingüe, el cual es calculado con el software Giza++ usando el corpus paralelo EUROPARL. Se evaluaron las diferentes representaciones llegando a la conclusión de que aquella basada en 5-gramas con esquema de filtrado por información mutua de bigramas ofrece el mejor valor de precisión.

  • English

    The problem of Word Sense Disambiguation (WSD) is about selecting the correct sense of an ambiguous word in a given context. However, even if the problem of WSD is difficult, when we consider its bilingual version, this problem becomes much more complex. In this case, it is necessary not only to find the correct translation, but such translation must consider the contextual senses of the original sentence (in the source language), in order to find the correct sense (in the target language) of the source word. In this paper we present a probabilistic model for bilingual WSD based on n-grams (2-grams, 3-grams, 5-grams and k-grams, for a sentence S of a length k). The aim is to analyze the behavior of the system with different representations of a given sentence containing an ambiguous word. We use a Naïve Bayes classifier for determining the probability of the target sense (in the target language) given a sentence which contains an ambiguous word (in the source language). For this purpose, we use a bilingual statistical dictionary, which is calculated with Giza++ by using the EUROPARL parallel corpus. On the average, the representation model based on 5-grams with mutual information demonstrated the best performance.

• Referencias bibliográficas
  • Aguirre, E.,Edmonds, P.. (2006). Word Sense Disambiguation: algorithms and applications. Springer. Dordrecht.
  • Barceló, G.. (2010). Desambiguación de los sentidos de las palabras en español usando textos paralelos.
  • Carpuat, M.,Wu, D.. (2007). Improving statistical machine translation using word sense disambiguation. Conference on Empirical Methods in...
  • Chan, Y.,Ng, H.,Chiang, D.. (2007). Word sense disambiguation improves statistical machine translation. 45 Annual Meeting of the Association...
  • Cortes, C.,Vapnik, V.. (1995). Support-vector networks. Machine Learning. 20. 273-297
  • Florian, R.,Yarowsky, D.. (2002). Modeling consensus: Classifier combination for word sense disambiguation. 10. Conference on Empirical Methods...
  • Harris, Z.. (1981). Papers on syntax. Kluwer Boston Inc.. Boston.
  • Lafferty, J.D.,McCallum, A.,Pereira, F.C.N.. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence...
  • Lee, Y.K.,Ng, H.T.. (2002). An empirical evaluation of knowledge sources and learning algorithms for word sense disambiguation. 10. Conference...
  • Lefever, E.,Hoste, V.. (2010). Semeval-2010 task 3: Cross-lingual word sense disambiguation. NAACL HLT Workshop on Semantic Evaluations:...
  • Mihalcea, R.F.,Moldovan, D.I.. (2001). Pattern learning and active feature selection for word sense disambiguation. Second International...
  • Ng, H. T.,Wang, B.,Chan, Y. S.. (2003). Exploiting parallel texts for word sense disambiguation: An empirical study. 41 Annual Meeting of...
  • Sinha, R.,McCarthy, D.,Mihalcea, R.. (2010). Semeval-2010 task 2: Cross-lingual lexical substitution. NAACL HLT Workshop on Semantic Evaluations:...
  • Yarowsky, D.,Cucerzan, S.,Florian, R.,Schafer, C.,Wicentowski, R.. (2001). The Johns Hopkins Senseval2 system descriptions. Second International...