Resumen de Overview of PROFE at IberLEF 2025: Language Proficiency Evaluation

Álvaro Rodrigo Yuste, Sergio Moreno Álvarez, Alberto Pérez García-Plaza, Anselmo Peñas Padilla , Rodrigo Agerri Gascón , Javier Fruns Giménez, Inés Soria Pastor

• español

  La comprensión del lenguaje exige captar los matices semánticos sutiles y las inferencias lógicas que sustentan el lenguaje, algo que va más allá del análisis de patrones superficiales del texto. La escasez de recursos de evaluación dado su alto coste de intervención humana para el etiquetado, suele limitar el progreso en este ámbito. Para subsanar esta carencia, la tarea propuesta, denominada PROFE 2025, reutiliza los exámenes de competencia en español desarrollados durante años por el Instituto Cervantes. Estos exámenes, concebidos originalmente para evaluar a estudiantes humanos, se transforman ahora en un banco de pruebas riguroso para medir el rendimiento de sistemas automáticos basados en modelos de lenguaje natural. En esta tarea, se invita a los participantes a desarrollar soluciones sustentadas en diversas estrategias, como el aprendizaje por transferencia o los modelos generativos, entre otras.

• English

  Language comprehension requires capturing the subtle semantic nuances and logical inferences that underpin language, something that goes beyond the analysis of superficial text patterns. Given the high cost of human intervention for labeling, the scarcity of assessment resources often limits progress in this area. To address this shortcoming, the proposed task, PROFE 2025, reuses the Spanish proficiency tests developed over the years by the Instituto Cervantes. These exams, originally conceived to evaluate human learners, are now transformed into a rigorous testbed for measuring the performance of automatic systems based on natural language models. In this task, participants are invited to develop solutions based on various strategies, such as transfer learning or generative models, among others.