Overview of PROFE at IberLEF 2025: Language Proficiency Evaluation

• Autores: Álvaro Rodrigo Yuste, Sergio Moreno Álvarez, Alberto Pérez García-Plaza, Anselmo Peñas Padilla , Rodrigo Agerri Gascón , Javier Fruns Giménez, Inés Soria Pastor
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 75, 2025 (Ejemplar dedicado a: Procesamiento del Lenguaje Natural, Revista nº 75, septiembre de 2025), págs. 487-497
• Idioma: inglés
• Títulos paralelos:
  • Resumen de PROFE en IberLEF 2025: Evaluación de la competencia lingüística
• Enlaces
  • Texto completo
• Resumen
  • español

    La comprensión del lenguaje exige captar los matices semánticos sutiles y las inferencias lógicas que sustentan el lenguaje, algo que va más allá del análisis de patrones superficiales del texto. La escasez de recursos de evaluación dado su alto coste de intervención humana para el etiquetado, suele limitar el progreso en este ámbito. Para subsanar esta carencia, la tarea propuesta, denominada PROFE 2025, reutiliza los exámenes de competencia en español desarrollados durante años por el Instituto Cervantes. Estos exámenes, concebidos originalmente para evaluar a estudiantes humanos, se transforman ahora en un banco de pruebas riguroso para medir el rendimiento de sistemas automáticos basados en modelos de lenguaje natural. En esta tarea, se invita a los participantes a desarrollar soluciones sustentadas en diversas estrategias, como el aprendizaje por transferencia o los modelos generativos, entre otras.

  • English

    Language comprehension requires capturing the subtle semantic nuances and logical inferences that underpin language, something that goes beyond the analysis of superficial text patterns. Given the high cost of human intervention for labeling, the scarcity of assessment resources often limits progress in this area. To address this shortcoming, the proposed task, PROFE 2025, reuses the Spanish proficiency tests developed over the years by the Instituto Cervantes. These exams, originally conceived to evaluate human learners, are now transformed into a rigorous testbed for measuring the performance of automatic systems based on natural language models. In this task, participants are invited to develop solutions based on various strategies, such as transfer learning or generative models, among others.

• Referencias bibliográficas
  • Armengol-Estapé, Jordi y Marc Pàmies y Joan Llop-Palao y Joaquin Silveira-Ocampo y Casimiro Pio Carrino y Carme Armentano-Oller y Carlos Rodriguez-...
  • Bandarkar, L., D. Liang, B. Muller, M. Artetxe, S. N. Shukla, D. Husa, N. Goyal, A. Krishnan, L. Zettlemoyer, and M. Khabsa. 2024. The belebele...
  • Cantero-Romero, M. V. and S. M. Jiménez-Zafra. 2025. SINAI at PROFE 2025: Testing the reading comprehension of GEMINI 2.0 Flash. In Proceedings...
  • Colelough, B., D. Bartels, and D. Demner-Fushman. 2025. Overview of the cliniqlink 2025 shared task on medical question-answering.
  • Fraile-Hernzández, J. M. and A. Peñas. 2025. JFra-Team at PROFE 2025: A Multi-Agent Zero-Shot System for Spanish Language Proficiency Question...
  • Geva, M., D. Khashabi, E. Segal, T. Khot, D. Roth, and J. Berant. 2021. Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit...
  • González-Barba, J. Á., L. Chiruzzo, and S. M. Jiménez-Zafra. 2025. Overview of IberLEF 2025: Natural Language Processing Challenges for Spanish...
  • Jiang, Z., J. Araki, H. Ding, and G. Neubig. 2021. How can we know when language models know? on the calibration of language models for question...
  • Lai, G., Q. Xie, H. Liu, Y. Yang, and E. Hovy. 2017. RACE: Large-scale ReAding comprehension dataset from examinations. In M. Palmer, R. Hwa,...
  • Martínez-López, Y., M. G. Saborit, Y. Jauriga, I. de las Mercedes Leguen de Varona, J. Madera, A. Rodríguez-González, C. de Castro Lozano,...
  • Peñas, A., A. Rodrigo, J. Fruns-Jiménez, I. Soria-Pastor, and J. Reyes-Montesinos. 2025. Ic-uned-rc-es: Spanish reading comprehension dataset...
  • Platas, A., A. Bellido, C. Parra, E. Zotova1, P. Turón, and M. Cuadros. 2025. VICOMTECH at PROFE2025: LLMsize is not so important. In Proceedings...
  • Rajpurkar, P., J. Zhang, K. Lopyrev, and P. Liang. 2016. SQuAD: 100,000+ questions for machine comprehension of text. In J. Su, K. Duh,...
  • Rodríguez-García, M. Á., R. Cabido, M. Maes-Bermejo, and S. Montalvo. 2025. URJC-Team at PROFE2025@ IberLEF: Deep Language Comprehension...
  • Rogers, A., O. Kovaleva, M. Downey, and A. Rumshisky. 2020. Getting closer to AI complete question answering: A set of prerequisite real tasks....
  • Winkler, A.-M. and A. Díaz. 2025. NILUCM at PROFE 2025: Adapting QA Models to MultipleChoice Tasks. In Proceedings of the Iberian Languages...
  • Zhou, C., Q. Li, C. Li, J. Yu, Y. Liu, G. Wang, K. Zhang, C. Ji, Q. Yan, L. He, et al. 2024. A comprehensive survey on pretrained foundation...