Resumen de IBERMAT - Corpus of Human and Machine Translated Multi-Domain Content in Basque, Catalan, Galician and Spanish: Description and Exploitation

Alicia Picazo Izquierdo, Ernesto Luis Estevanell Valladares, Ruslan Mitkov , Rafael Muñoz Guillena , Manuel Palomar Sanz

• español

  El contenido generado por IA dificulta la distinción entre texto producido por humanos y por máquinas para tareas como la verificación de autoría, la moderación de contenido y la evaluación de la calidad. En este artículo se presenta IBERMAT, un nuevo corpus con traducciones humanas y automáticas en tres dominios especializados (clínico, jurídico y literario) y en las cuatro lenguas oficiales de España: euskera, catalán, gallego y castellano. El objetivo principal es detectar si un texto se ha generado por humanos o máquinas. Para ello, se evalúan tres enfoques: (1) métodos tradicionales de aprendizaje automático, (2) modelos de lenguaje basados en transformers con estrategias de fine-tuning completo y adaptación de bajo rango (LoRA), y (3) grandes modelos de lenguaje (LLMs) en escenarios zeroshot. Los resultados muestran que los transformers superan tanto a los modelos tradicionales como a los LLM, aunque no con grandes diferencias. Además, reflejan la calidad de los resultados de los sistemas de TA y las limitaciones de los modelos actuales para detectar matices sutiles. Finalmente, cabe destacar que el contenido traducido automáticamente puede ser más difícil de identificar que el generado por IA en contextos más generales.

• English

  Distinguishing between human- and machine-produced text is crucial for tasks like authorship verification, content moderation, and quality assessment. We introduce IBERMAT, a novel dataset of human and machine translations across three specialised domains (clinical, legal and literary) and four official languages in Spain (Basque, Catalan, Galician and Spanish) and outlines a case study of its exploitation. We evaluate the performance of classifying translation origin using a range of machine learning techniques. We evaluate three approaches: (1) traditional machine learning pipelines, (2) fine-tuned transformer-based language models using full and low-rank adaptation strategies, and (3) LLMs for zero-shot classification. The results show that fine-tuned transformers outperform both traditional ML and zero-shot LLMs, but not with substantial differences. These results highlight both the increasing quality of MT output and the limitations of current models in detecting subtle distinctions, especially when translations may involve post-editing. Our findings also suggest that machine-translated content may be harder to identify than general AI-generated text.