Resumen de From Rule-Based to LLMs: A Performance and Variability Analysis of Galician Machine Translation Models

Sofía García González, Germán Rigau Claramunt , José Ramón Pichel Campos

• español

  Este trabajo evalúa la traducción automática (TA) para los pares Inglés–Gallego, Español–Gallego y Portugués–Gallego, con el objetivo de identificar los modelos más efectivos en un dominio generalista. La evaluación abarca factores como calidad, variabilidad del rendimiento y tamaño. Los resultados muestran que, para Español–Gallego, los sistemas basados en reglas y los modelos bilingües superan a los modelos multilingües y LLMs. Sin embargo, en pares de lenguas más distantes, los modelos multilingües ofrecen mejores resultados. Se destaca la necesidad de más investigación para Portugués–Gallego en TA.

• English

  This paper evaluates machine translation (MT) for English–Galician, Spanish–Galician, and Portuguese–Galician pairs, with the aim of identifying the most effective models for these language pairs in the general domain. The evaluation encompasses a range of factors, including model quality, performance variance and size. The assessment involves the evaluation of different open-source systems. The results obtained identify that, for Spanish–Galician, both a Rule-Based System and a bilingual Neural Machine Translation model outperform larger multilingual models and LLMs. However, for more distant language pairs, multilingual models demonstrate superior performance. The study underscores the necessity for further research in Portuguese–Galician pair.