Adaptación de la técnica de evaluación inmediata IF-AT y gamificación grupal: diseño de preguntas efectivas en la era de ChatGPT

• Autores: Carlos González Morcillo , Sergio Martínez Cid, Javier Albusac, David Vallejo Fernández , Santiago Sánchez Sobrino, José Juan Castro Sánchez
• Localización: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), ISSN 2531-0607, Nº. 9 (Actas de las XXX Jornadas sobre Enseñanza Universitaria de la Informática (La Coruña, 19, 20 y 21 de), 2024, págs. 59-66
• Idioma: español
• Enlaces
  • Texto completo
• Resumen
  • español

    Este trabajo presenta resultados en Computer Graphics (6 ECTS), remodelando la gamificación para abordar la baja asistencia de estudiantes universitarios a clases magistrales y maximizando la eficacia de evaluaciones inmediatas con elementos de gamificación grupal. El problema es la disminución de asistencia presencial, agravada por la disponibilidad de recursos digitales y la capacidad de los estudiantes para obtener respuestas a cuestionarios mediante IAs como ChatGPT. En este trabajo se expone la adaptación de la técnica IF-AT (Immediate Feedback Assessment Technique) con aprendizaje colaborativo entre pares y técnicas de gamificación. La tesis principal del estudio es que las preguntas de tipo test en IF-AT pueden y deben ser diseñadas para resistir la resolución automática por IA, manteniendo así su valor educativo y fomentando el aprendizaje colaborativo y crítico entre los estudiantes. Los resultados incluyen un modelo de diseño de preguntas que fortalece el aprendizaje activo y la discusión crítica, mientras se adapta a los desafíos tecnológicos actuales. En el curso 2022-23, los estudiantes mostraron una respuesta muy positiva, con mejoras notables en asistencia y participación, así como en los resultados de evaluación.

  • English

    This paper presents results in Computer Graphics (6 ECTS), remodeling gamification to address the low attendance of university students in lectures and maximizing the effectiveness of immediate evaluations with group gamification elements. The problem is the decline in physical attendance, exacerbated by the availability of digital resources and students’ ability to obtain answers to quizzes using AIs like ChatGPT. This work discusses the adaptation of the IF-AT (Immediate Feedback Assessment Technique) technique with collaborative learning among peers and gamification techniques. The main thesis of the study is that test-type questions in IF-AT can and should be designed to resist automatic resolution by AI, thus maintaining their educational value and promoting collaborative and critical learning among students. The results include a question design model that enhances active learning and critical discussion, while adapting to current technological challenges. In the 2022-23 course, students showed a very positive response, with notable improvements in attendance and participation, as well as in evaluation outcomes.

• Referencias bibliográficas
  • [1] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie y Lovenia. A multitask, multilingual, multimodal evaluation...
  • [2] Ali Borji. A categorical archive of chatgpt failures. arXiv preprint arXiv:2302.03494, 2023.
  • [3] Yu-kai Chou. Actionable gamification: Beyond points, badges, and leaderboards. Packt Publishing Ltd, 2019.
  • [4] Sehoya Cotner, Paul Baepler y Anne Kellerman. Scratch this! the if-at as a technique for stimulating group discussion and exposing misconceptions....
  • [5] Adam P Fagen, Catherine H Crouch y Eric Mazur. Peer instruction: Results. Physics teacher, 40(4):206–209, 2002.
  • [6] Simon Frieder, Luca Pinchetti, Ryan-Rhys Grif- fiths, Tommaso Salvatori y Lukasiewicz. Mathematical capabilities of chatgpt. Advances...
  • [7] C. Izu y A. Luna. Using if-at cards to engage students in reading and understanding cs course materials. En 2020 IEEE World Conference...
  • [8] M. Levin, T. McKechnie, S. Khalid, T. Grantcharov y M. Goldenberg. Automated methods of technical skill assessment in surgery: A systematic...
  • [9] Tianyu Liu, Yizhe Zhang, Chris Brockett y Yi Mao. A token-level reference-free hallucination detection benchmark for free-form text generation....
  • [10] Jeremy D Merrel, P Cirillo y Pauline M Schwartz. Multiple-choice testing using immediate feedback—assessment technique (if at). Higher...
  • [11] Chengwei Qin, Aston Zhang, Zhuosheng Zhang y Jiaao Chen. Is chatgpt a general-purpose natu- ral language processing task solver? En Conference...
  • [12] Vignav Ramesh, Nathan Chi y Pranav Rajpur- kar. Improving radiology report generation systems by removing hallucinated references to...
  • [13] Roberto Rodríguez Echeverría, Juan Diego Gu- tiérrez Gallardo, José María Conejero Manzano y Alvaro Prieto Ramos. Impacto de chatgpt...
  • [14] Francisco Pascual Romero Chicharro, Jesús Se- rrano Guerrero, Julio Alberto López Gómez, Luis Jiménez Linares y José Ángel Martín Baos....
  • [15] Astrid Schmulian y S Coetzee. Students’ expe- rience of team assessment with immediate feedback. Assessment & Evaluation in Higher...
  • [16] J Schneider, S Ruder y C Bauer. Student perceptions of immediate feedback testing in student centered chemistry classes. Chemistry Education...
  • [17] Jason Wei, Xuezhi Wang, Dale Schuurmans y Bosma. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural...