Evaluating the LIHLA lexical aligner on Spanish, Brazilian Portuguese and Basque parallel texts

Abstract

El alineamiento de palabras y de unidades multipalabra desempeña un papel importante en muchas aplicaciones del procesamiento de lenguaje natural, tales como la traducción automática basada en ejemplos, la inducción de reglas de transferencia para la traducción automática, la lexicografía bilingüe, la desambiguación de la polisemia, etc. En esta comunicación describimos LIHLA, un alineador de palabras que utiliza léxicos probabilísticos bilingües generados por un paquete de herramientas libremente disponible (NATools) y heurísticas independientes del idioma para encontrar alineamientos entre palabras y unidades multipalabra en textos paralelos alineados por oraciones. El método ha alcanzado una precisión de un 92.44% y un 85.09% y una cobertura de un 91.13% y un 64.66% en textos paralelos escritos en portugués brasileño–español y español–euskera, respectivamente.

Alignment of words and multiword units plays an important role in many natural language processing applications, such as example-based machine translation, transfer rule learning for machine translation, bilingual lexicography, word sense disambiguation, etc. In this paper we describe LIHLA, a lexical aligner which uses bilingual probabilistic lexicons generated by a freely available set of tools (NATools) and language-independent heuristics to find links between single words and multiword units in sentence-aligned parallel texts. The method has achieved a precision of 92.44% and 85.09% and a recall of 91.13% and 64.66% on Brazilian Portuguese–Spanish and Spanish–Basque parallel texts, respectively.