Coevaluando con LLM: generando una retroalimentación formativa a tiempo

• Autores: Joaquín Ballesteros Gómez, Pablo Daniel Franco Caballero, Lidia Fuentes Fernández
• Localización: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), ISSN 2531-0607, Nº. 10 (Actas de las XXXI Jornadas sobre la Enseñanza Universitaria de la Informática), 2025, págs. 111-119
• Idioma: español
• Enlaces
  • Texto completo (html)
• Resumen
  • español

    La retroalimentación formativa persigue que el estudiante reflexione sobre el error y aprenda estrategias para mejorar, evitando que se centre solo en la solución inmediata. Esta forma de transmitir la evaluación favorece el entendimiento y la comprensión de la materia. Sin embargo, incrementa notablemente el tiempo requerido por el docente en la evaluación, siendo inviable proporcionar esta retroalimentación a tiempo en grupos numerosos. Algunos autores ya han explorado con resultados prometedores el uso de modelos de lenguaje de gran tamaño o LLM ( Large Language Model) para aportar retroalimentación automática. Sin embargo, cabe destacar que estas prácticas son clasificadas como de alto riesgo si se usan para calificar estudiantes (Ley de IA UE 2024/1689); además, como los propios autores comentan, no es un sistema fiable. En este trabajo se propone una metodología para realizar una coevaluación humano-IA, siendo el LLM un primer evaluador automático que proporciona una retroalimentación que el docente toma como base para generar su retroalimentación formativa. Esta solución puede ser una opción prometedora en la evaluación continua en asignaturas de programación, donde la demora inherente en la revisión del contenido puede suponer la pérdida o desconexión de los estudiantes del contenido abordado. La posibilidad de emplear la IA para evaluar no solo la funcionalidad, sino también el mantenimiento, la claridad y la eficiencia del código, puede facilitar la autorregulación del aprendizaje del estudiante y reducir significativamente los tiempos de evaluación de los revisores en aquellas tareas cuyos criterios estén claros y sean precisos.

  • English

    Formative feedback aims to encourage students to reflect on their mistakes and learn strategies for improvement, rather than focusing solely on the immediate solution. This way of delivering assessment promotes understanding and comprehension.

    However, it significantly increases the time required by instructors for grading, making it unfeasible in large groups. Some authors have already explored the use of large language models to provide automatic feedback. Nevertheless, it is important to note that such practices are classified as high-risk when used to grade students (EU AI Act 2024/1689); moreover, as the authors themselves point out, these systems are not reliable. This paper proposes a methodology for human-AI co-assessment, in which the LLM serves as a first evaluator providing feedback that the instructor uses as a basis for generating their own formative feedback. This solution could be a promising option for continuous assessment in programming courses, where delays in reviewing content can lead to students losing track or disconnecting from the material. The possibility of using AI to assess not only functionality but also maintainability, readability, and efficiency of code may support student self-regulated learning and significantly reduce evaluation time for reviewers in tasks with clear and precise criteria