Guiando la intervención del profesorado en la evaluación por pares explotando un modelo gráfico probabilístico

• Jerónimo Hernández-González ^[1] ; Pedro Javier Herrera ^[2]
  1. [1] Universitat de Barcelona

     Universitat de Barcelona

     Barcelona, España

     
  2. [2] Universidad Nacional de Educación a Distancia

     Universidad Nacional de Educación a Distancia

     Madrid, España

     
• Localización: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), ISSN 2531-0607, Nº. 7, 2022, págs. 199-206
• Idioma: español
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Entre las metodologías activas de enseñanzaaprendizaje, la evaluación por pares, donde los estudiantes se valoran mutuamente, destaca como técnica de evaluación formativa. Aunque también podría usarse para calificar al propio estudiante, existen dudas sobre la fiabilidad de las calificaciones obtenidas de los pares. Bajo la hipótesis de que se puede modelar la evaluación por pares para guiar eficientemente al profesorado en la elección de qué actividades revisar, el objetivo es obtener una estimación fiable de la calificación de las actividades que el docente no ha revisado. Se usa un modelo gráfico probabilístico para el modelado, y un método de aprendizaje automático con aproximación Bayesiana que se ajusta con las calificaciones de los pares y el profesorado. Se propone un procedimiento que sugiere, uno a uno, qué trabajo debería calificar el docente para reducir la incertidumbre en el modelo. El docente decide cuántos trabajos calificar según su propio criterio de incertidumbre tolerable. Esta propuesta, validada en datos reales, muestra resultados prometedores.

    Tiene el potencial impacto de ayudar a extender la evaluación por pares como técnica de evaluación y calificación, reduciendo las dudas entre el profesorado acerca de la fiabilidad de las calificaciones obtenidas.

  • English

    Among the active teaching-learning methodologies, formative assessment technique of peer assessment, where students assess each other, stands out. Although this technique could be used to grade students too, there are doubts about the reliability of the ratings given by peers. Under the hypothesis that peer assessment can be modeled to efficiently guide teachers in choosing which activities to correct, the objective is to obtain a reliable estimate of the grade of the tests that the teacher has not reviewed. Probabilistic graphical models are used for modeling, together with a Bayesian machine learning method that adjusts to peer and teacher ratings. A procedure is proposed that suggests, one by one, which work the teacher should grade next to reduce the uncertainty in the model. The teacher decides how many activities to grade based on their own criterion of tolerable uncertainty. This proposal, validated in real data, shows promising results and has the potential impact of helping to extend peer evaluation as an evaluation and grading technique, reducing doubts among teachers about the reliability of the grade estimates.

• Referencias bibliográficas
  • [1] Yoram Bachrach, Tom Minka, John Guiver, y Thore Graepel. How To Grade a Test Without Knowing the Answers — A Bayesian Graphical Model...
  • [2] Clare Brindley y Susan Scoffield. Peer assessment in undergraduate programmes. Teaching in Higher Education, 3(1):79–90, 1998.
  • [3] Javier Gil Flores y María Teresa Padilla Carmona. La participación del alumnado universitario en la evaluación del aprendizaje. Educación...
  • [4] Tasos Hovardas, Olia E. Tsivitanidou, y Zacharias C. Zacharia. Peer versus expert feedback: An investigation of the quality of peer feedback...
  • [5] Jeff Howe. The rise of crowdsourcing. Wired Magazine, 15(6):1–4, 2006.
  • [6] Maurice G. Kendall. A new measure of rank correlation. Biometrika, 30(1-2):81–93, 1938.
  • [7] Daphne Koller y Nir Friedman. Probabilistic graphical models: principles and techniques. MIT press, 2009.
  • [8] Igor Labutov y Christoph Studer. JAG: A crowdsourcing framework for joint assessment and peer grading. En Proceedings of the 31st AAAI...
  • [9] Yoad Lewenberg, Yoram Bachrach, Ulrich Paquet, y Jeffrey S. Rosenschein. Knowing what to ask: A Bayesian active learning approach to the...
  • [10] Chris Piech, Jonathan Huang, Zhenghao Chen, Chuong Do, Andrew Ng, y Daphne Koller. Tuned models of peer assessment in MOOCs. En Proceedings...
  • [11] Karthik Raman y Thorsten Joachims. Methods for ordinal peer grading. En Proceedings of the 20th ACM SIGKDD international conference on...
  • [12] Daniel Reinholz. The assessment cycle: a model for learning through peer assessment. Assessment and Evaluation in Higher Education, 41(2):301–...
  • [13] Philip M. Sadler y Eddie Good. The Impact of Selfand Peer-Grading. Educational Assessment, 11(1):1–31, 2006.
  • [14] Neus Sanmartí. Avaluar i aprendre: un únic procés. Octaedro Editorial, 2019.
  • [15] Bar Shalem, Yoram Bachrach, John Guiver, y Christopher M. Bishop. Students, Teachers, Exams and MOOCs: Predicting and Optimizing Attainment...
  • [16] Stan Development Team. Stan modeling language users guide and reference manual, 2.26. Software, 2021.
  • [17] Keith Topping. Peer assessment. Theory into Practice, 48(1):20–27, 2009.