Análisis de eventos para evaluar competencias en experiencias de aprendizaje basadas en serious games
Identificadores
Statistics
Share
Metadata
Show full item recordAuthor/s
Caballero Hernández, Juan AntonioDate
2020-11-13Department
Ingeniería InformáticaAbstract
Actualmente, la atención de la educación superior está centrada en la adquisición de competencias por parte de los estudiantes en vez de la tradicional adquisición de conocimientos. Un aspecto relevante en la evaluación de competencias es el análisis del proceso seguido durante la experiencia de aprendizaje. Mientras que los resultados finales suelen ser fácilmente medidos y observados, los procesos seguidos para alcanzar estos resultados no suelen ser fáciles de medir con enfoques manuales.
Las experiencias de aprendizaje basadas en serious games han tomado relevancia en los últimos años gracias al crecimiento de la industria del videojuego. Los serious games o videojuegos educativos son videojuegos con propósitos para el aprendizaje. Jugando en estos entornos, los jugadores desarrollan sus competencias realizando multitud de interacciones para superar los retos planteados dentro del juego. Estas interacciones pueden ser almacenadas en registros de eventos como grandes conjuntos de datos que pueden proporcionar al proceso de evaluación información objetiva sobra las competencias aplicadas.
Sin embargo, las experiencias de aprendizaje basadas en serious games presentan ciertas complejidades a la hora de evaluar las competencias de los estudiantes. En primer lugar, factores genéricos (como el género del juego: plataformas, aventuras, etc.) y especı́ficos (como el contexto del juego: educación superior, enseñanza empresarial, etc.) dificultan el proceso de evaluación en comparación con el de otros instrumentos de aprendizaje. En segundo lugar, la mayorı́a de métodos de evaluación identificados hasta la fecha poseen un enfoque manual, presentando problemas de escalabilidad, evaluaciones poco detalladas y falta de mecánicas automatizadas. Todas estas limitaciones dificultan analizar en detalle grandes conjuntos de datos como pueden ser los eventos generados por las interacciones realizadas por los jugadores.
Debido al carácter secuencial de los eventos creados por las interacciones de los jugadores y a las limitaciones detectadas, se propone aplicar análisis de secuencias (sequence analysis) para evaluar las competencias desarrolladas en experiencias de aprendizaje basadas en serious games. Dentro del sequence analysis, las técnicas de minerı́a de procesos (process mining) permiten extraer conocimiento de registros de eventos de manera automática. Process mining ha sido aplicada de forma exitosa en múltiples entornos educativos, acuñando un término propio para este tipo de aplicaciones: Educational Process Mining (EPM).
En esta tesis, se propone un método basado en process mining para analizar las interacciones de los estudiantes dentro de una experiencia de aprendizaje basada en serious games. En primer lugar, se propone un método inicial de evaluación de competencias. A continuación, se llevan a cabo varios estudios para explorar los beneficios de las técnicas de process mining al ser aplicadas en contextos de aprendizaje. Finalmente, considerando los resultados obtenidos, se presenta una propuesta mejorada de método de evaluación de competencias la cual es implementada y validada en una experiencia de aprendizaje basada en serious games en educación superior.
Los resultados obtenidos muestran que las técnicas de process mining proporcionan un método adecuado para paliar las limitaciones de los procesos de evaluación manuales en experiencias de aprendizaje basadas en serious games. Process mining proporciona un análisis escalable y detallado de las interacciones realizadas, permitiendo descubrir modelos para analizar el comportamiento de los estudiantes en procesos secuenciales. Finalmente, las técnicas de process mining proporcionaron un apoyo automatizado para evaluar las competencias desarrolladas durante la experiencia de juego. Nowadays, the attention of higher education learning has focused on acquiring the skills by students, instead of the traditional getting of knowledge. A relevant aspect in the skill assessment is the analysis of the process conducted during the learning experience. Whereas performance outcomes can be easily measured and observed, the followed processes to achieve those outcomes are often not as easily measurable or observable with manual approaches.
Serious games-based learning experiences have taken relevance due to the grown of video games industry in recent years. Serious games or educational video games are video games with learning purposes. Playing in these environments, players develop their skills applying several interactions to overcome the challenges posed in the game. These interactions can be stored in event logs as large data sets that can provide the assessment process with objective information about the applied skills.
Unfortunately, serious games-based learning experiences have particular complexities when it comes to assessment. First, generic factors (i.e. game context: platforms, adventure, etc.) and specific ones (i.e. educational context: higher education, corporate training, etc.) involve complexities in the assessment process. Second, most assessment methods identified so far in serious games-based learning experiences rely on manual approaches, suffering from scalability issues, scarce detailed assessments and a lack of automatic mechanisms. All these limitations affect the analysis of large data sets as the generated events by the players interactions.
Due to the sequential nature of events generated by the game interactions and the detected assessment limitations, sequence analysis techniques can be considered as an alternative to assess the applied skills in serious games-based learning experiences. Within sequence analysis, process mining techniques allow automatically extracting knowledge from the event logs. Process mining has been successfully applied in multiple educational environments, coining its own term for these kinds of applications: Educational Process Mining (EPM).
In this thesis, a method based on process mining techniques to analyse the interactions produced by the students in a serious games-based learning experience is proposed. First, a preliminary skill assessment method is introduced. Then, several studies are conducted to explore the benefits of applying process mining techniques in learning experiences. Finally, considering obtained results, a refined proposal for the skill assessment method is proposed, being implemented and validated in a serious games-based learning experience in higher education.
The findings show that process mining techniques provide a suitable method to alleviate limitations of manual assessment in game-based learning experiences. Process mining supports a scalable and detailed analysis of performed interactions. Applying the process mining model discovery was a successful approach to analyse the behaviour of students in sequential processes. Finally, process mining techniques provided an automatic support to assess the developed skills during the game experience.
Subjects
Applied games; Game Based Learning; Edutainment; Process Mining; Model discovery; Event-Based Data Analysis; Skill assessment; Interactive learning environments; e-Learning; Systematic Literature Review; Serious games; Learning AnalyticsCollections
- Tesis [592]
- Tesis Ing. Inf. [25]