Mejora en el descubrimiento de modelos de minería de procesos en educación mediante agrupación de datos de interacción con la plataforma moodle

• Autores: Alejandro Bogarín Vega
• Directores de la Tesis: Cristóbal Romero Morales (dir. tes.) , Rebeca Cerezo Menéndez (codir. tes.)
• Lectura: En la Universidad de Córdoba (ESP) ( España ) en 2018
• Idioma: español
• Tribunal Calificador de la Tesis: Manuel Prieto (presid.) , Enrique García Salcines (secret.) , María Estrella Fernández Alba (voc.)
• Enlaces
  • Tesis en acceso abierto en: Helvia
• Resumen

  • 1. Introducción o motivación de la tesis El desarrollo de la integración entre tecnología y sistemas de aprendizaje, nos permiten capturar todos las acciones que realizan los estudiantes cuando interactúan con los entornos de aprendizaje virtuales. Con el objetivo de entender los patrones o rutas seguidas por los estudiantes durante el proceso de aprendizaje, las técnicas de minería de datos (Data Mining, DM) en educación están siendo utilizadas de manera exponencial sobre los registro de eventos generados por estas plataformas.

    La aplicación de técnicas de DM a datos específicamente recogidos en entornos educativos se denomina minería de datos en educación (Educational Data Mining, EDM) y permite descubrir nuevo conocimiento útil para resolver problemas en educación (Romero & Ventura, 2010). La Minería de Procesos en Educación (Educational, Process Mining, EPM) es una nueva sub-disciplina de EDM que aplica minería de procesos estrictamente a datos educativos (Romero et al., 2016). Tanto EDM como EPM aplican algoritmos específicos a los datos para descubrir patrones y relaciones ocultas, pero a diferencia de EDM, las técnicas de EPM están centradas en el proceso y en los datos del evento (Van der Aalst et al., 2004).

    En esta tesis se propone la aplicación de técnicas de EPM sobre los datos generado con la interacción de los estudiantes en un sistema de gestión de aprendizaje (Learning Management System, LMS), específicamente Moodle. Obtener modelos que proporcionan una representación visual compresible para los profesores, ha sido la principal contribución realizada en esta tesis. Los resultados generados pueden ser útiles para el seguimiento del aprendizaje de los estudiantes, y para proporcionar una retroalimentación al profesor que le ayude a tomar consciencia de lo que está pasando en el proceso de aprendizaje.

    2. Contenido de la investigación Esta tesis doctoral se compone de tres etapas principales. En la primera etapa se ha realizado un trabajo de revisión de búsqueda bibliográfica de EPM, en la segunda etapa se han recogido y pre-procesado los datos procedentes del entorno Moodle, y en la última etapa se han ejecutado y comparado diferentes algoritmos de descubrimiento de modelos.

    2.1 Revisión bibliográfica Con el objetivo de analizar las técnicas, algoritmos y herramientas más utilizadas se realizó un estudio bibliográfico de la minería de procesos en educación (Bogarín et al., 2018a).

    Asimismo, en este estudio nos propusimos comparar EPM con otras áreas de conocimiento para contrastar las semejanzas y diferencias más significativas. Por otro lado, y con la finalidad de adaptar el marco de trabajo genérico de la minería de procesos a uno específico de educación, desarrollamos y describimos los componentes de este nuevo marco. Además, debido a la dificultad que supone el pre-procesado de datos en entornos educativos, explicamos todos los obstáculos encontrados al manipular los diferentes registros de eventos generados por estos entornos.

    Finalmente, categorizamos por ámbito de aplicación todas las investigaciones de EPM realizadas hasta la fecha, con el objetivo de ordenar y estructurar de una manera eficaz toda esta información.

    2.2 Recogida y pre-procesado de datos En las investigaciones (Romero et al., 2016) y (Bogarín et al., 2018b) los datos utilizados fueron obtenidos de la interacción que realizaron estudiantes universitarios del Grado de Psicología de la Universidad de Oviedo en la plataforma Moodle. La asignatura era de carácter obligatorio de tercero de carrera y constaba de 11 temas diferentes que se enviaban semanalmente a los estudiantes para que trabajasen durante un periodo de 15 días. La interacción de los estudiantes en Moodle genera un registro de eventos que fue procesado de una manera exhaustiva y rigurosa para poder obtener modelos educativos válidos. Los atributos que se utilizaron en nuestras metodologías fueron: la fecha, el nombre del alumno, la acción y un campo información que proporcionaba un conocimiento más detallado de la acción realizada.

    Para nuestros experimentos se utilizaron tres tipos de ficheros. En primer lugar, el registro de eventos obtenido directamente de Moodle y correctamente filtrado. En segundo lugar, un fichero resumen con variables calculadas a partir de la interacción de cada estudiante en Moodle (registro de eventos) y diferentes tablas de bases de datos. Finalmente, usamos un archivo proporcionado por el profesor que contenía un identificador para cada estudiante con el objetivo de mantener su anonimato.

    En el estudio (Romero et al., 2016) se propuso dos formas de agrupar estudiantes para mejorar el modelo de proceso educativo. Agrupamiento manual, se agrupan a los estudiantes directamente usando solo la nota final y, automática, se agrupan a los estudiantes en base a la interacción que los estudiantes realizan durante el curso en la plataforma Moodle.

    En el estudio (Bogarín et al., 2018b) se propuso la utilización de una codificación y agrupación de alto nivel de los eventos de bajo nivel que captura Moodle durante la interacción del alumno con el curso. Concretamente, se propuso una taxonomía de cinco categorías principales: aprendiendo (LEARNING), planeando (PLANNING), ejecutando (EXECUTING), revisar (REVIEW) y foro de aprendizaje (FORUM PEER LEARNING).

    2.3 Ejecución y comparación de algoritmos En un primer estudio experimental (Romero et al., 2016) aplicamos el algoritmo Heuristic Miner (HM) sobre nuestros conjunto de datos. Se utiliza HM porque además de ser el algoritmo más usado en entornos educativos se diseñó en una métrica basada en la frecuencia. Esto provoca que sea menos sensible al ruido y a registros de eventos que no están completos. Las medidas de calidad que utilizamos fueron el ajuste y la complejidad de las redes obtenidas.

    En un segundo estudio (Bogarín et al., 2018b) las pruebas se realizaron por temas para analizar más exhaustivamente el comportamiento de los estudiantes. Por otro lado, utilizamos una codificación de alto nivel con cinco etiquetas con el objetivo de conseguir modelos más comprensibles de acuerdo con los supuestos de la teoría de SRL (Self-regulated learning). Se realizó un análisis comparativo de los modelos de procesos obtenidos con los algoritmos más utilizados en entornos educativos (Bogarín et al., 2018a): Alpha Miner (AM), Heuristic Miner (HM), Evolutionary Tree Miner (ETM) e Inductive MIner (IM). Se utilizaron cuatro medidas de calidad para la evaluación de los modelos: ajuste, precisión, generalización y simplicidad.

    3. Conclusión En nuestros primeros experimentos y, tras analizar toda la bibliografía relacionada sobre aplicación de minería de procesos en educación, se observó que los algoritmos Alpha Miner (AM), Heuristic Miner (HM) y Fuzzy Miner (FM) eran los algoritmos más utilizados para descubrir modelos de aprendizaje (Bogarín et al., 2016), concretamente HM era el que mejores resultados mostraba. Posteriormente, descubrimos que con el nuevo algoritmo Inductive Miner (IM) se podían obtener mejores resultados (Bogarín et al., 2018b) que con estos algoritmos tradicionales, incluido HM.

    Hemos conseguido que los modelos visuales sean comprensibles para los docentes y los estudiantes, lo que hace que estos resultados sean esenciales para monitorizar el proceso de aprendizaje. Las metodologías aplicadas para conseguir este objetivo se encuentran en (Bogarín et al., 2016) y (Bogarín et al., 2018b). En estas investigaciones propusimos, con éxito, diferentes tipos de agrupamientos (manual y automático) para mejorar los modelos de EPM y, al mismo tiempo, optimizar el rendimiento (métricas) y la comprensibilidad (tamaño) de los modelos. En (Bogarín et al., 2018b) se realizaron las pruebas por temas, y conseguimos analizar más detalladamente el comportamiento de los estudiantes. Esto es útil porque el profesor obtiene una información más completa de cómo está trabajando el estudiante durante el curso y pueda detectar en una fase más temprana rutas que llevan al fracaso. Por otro lado, utilizamos una codificación de alto nivel con cinco etiquetas y obtuvimos un nivel de abstracción mayor y modelos más comprensibles desde el punto de vista de los supuestos de la teoría de SRL.

    La utilización de diferentes métricas de evaluación de los modelos obtenidos (Bogarín et al., 2018b), nos sirvió para corroborar de manera empírica tres importantes conclusiones: 1. Con el algoritmo IM obtenemos los mejores resultados en la medida del ajuste. Esto es importante porque no tiene sentido considerar otras medidas si el ajuste no es bueno (Buijs et al., 2012; van Dongen, 2007).

    2. Los resultados obtenidos en el balanceo de las métricas de calidad (overall) son mejores en el IM que en otros algoritmos tradicionales de EPM.

    3. Los resultados obtenidos en las métricas, analizadas en conjunto o individualmente, son aún mejores en los conjunto de datos que estaban agrupados, como se vio con datos educativos en (Bogarín et al., 2016).

    Por tanto, la utilización del nuevo algoritmo IM para descubrir modelos de aprendizaje abre un nuevo campo en la investigación, el desarrollo y la comprensión de PM aplicado a entornos educativos.

    4. Bibliografía Agrawal, R., & Srikant, R. (1995). Mining sequential patterns. In: Data Engineering. Proceedings of the Eleventh International Conference. Taipei, Taiwan. 3-14.

    Anuwatvisit, S., Tunggkasthan, A., & Premchaiswadi, W. (2012). Bootleneck mining and petri net simulation in education situations. In: Conference on ICT and Knowledge Engineering. Bangkok, Thailand. 244-251.

    Ariouat, H., Cairns, A.H., Barkaoui, K., Akoka, J., & Khelifa, N. (2016). A Two-Step Clustering Approach for Improving Educational Process Model Discovery. In: Enabling Technologies: Infrastructure for Collaborative Enterprises (WETICE), 25th International Conference. Paris, France. 38-43.

    Ayutaya, N. S. N., Palungsuntikul, P., & Premchaiswadi, W. (2012). Heuristic mining: Adaptive process simplification in education. In: International Conference on ICT and Knowledge Engineering. Bangkok, Thailand. 221-227.

    Azevedo, R., Behnagh, R., Duffy, M., Harley, J. M., & Trevors G. J. (2012). Metacognition and self-regulated learning in student-centered learning environments. In: Theoretical foundations of student-center learning environments, 49(2), 171–197.

    Bannert, M., Reimann, P., & Sonnenberg, C. (2014). Process mining techniques for analysing patterns and strategies in students’ self-regulated learning. In: Metacognition and learning, 9(2), 161-185.

    Barreiros, B.V., Lama, M., Mucientes, M., & Vidal, J.C. (2014). Softlearn: A process mining platform for the discovery of learning paths. In: 14th International Conference on Advanced Learning Technologies. Athens, Greece. 373-375.

    Bergenthum, R., Desel, J., Harrer, A., & Mauser, S. (2008). Learnflow Mining. In: Die 6. e-Learning Fachtagung Informatik. Lübeck, Germany. 269-280.

    Bergenthum, R., Desel, J., Harrer, A., & Mauser, S. (2012). Modeling and mining of learnflows. In: Jensen, K., Donatelli, S., & Kleijn, J. (Eds.). Transactions on Petri Nets and Other Models of Concurrency V. 22-50.

    Bogarín, A., Cerezo, R., & Romero, C. (2018a). A survey on educational process mining. In: Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(1), 1-17.

    Bogarín, A., Cerezo, R., & Romero, C. (2018b). Discovering learning processes using Inductive Miner: A case study with Learning Management Systems (LMSs). In: Psicothema, 30(3), 322-329.

    Bogarín, A., Romero, C., Cerezo, R., & Sánchez-Santillán, M. (2014). Clustering for improving educational process mining. In: Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. Indianapolis, USA. 170-181 Boiarsky, C. (1984). A model for analyzing revision. In: Journal of Advanced Composition, 5, 65-78.

    Brusilovsky, P., & Millán, E. (2007). User models for adaptive hypermedia and adaptive educational systems. In: Brusilovsky, P., Kobsa, A., & Nejdl, W. (Eds.). The Adaptive Web: Methods and Strategies of Web Personalizatio. 3-53.

    Buijs, J. C., Van Dongen, B. F., & van der Aalst, W. M. (2012). On the role of fitness, precision, generalization and simplicity in process discovery. In: Proceedings of the OTM Confederated International Conferences" On the Move to Meaningful Internet Systems". Rome, Italy. 305-322.

    Cairns, A.H., Gueni, B., Assu, J., Joubert, C., & Khelifa, N. (2015a). Process Mining in the Education Domain. In: International Journal on Advances in Intelligent Systems, 8(1), 219-232.

    Cairns, A.H., Gueni, B., Assu, J., Joubert, C., & Khelifa, N. (2015b). Analyzing and Improving Educational Process Models using Process Mining Techniques. In: The Fifth International Conference on Advances in Information Mining and Management. Brussels, Belgium. 17-22.

    Cairns, A.H., Gueni, B., Fhima, M., Cairns, A., David, S., & Khelifa, N. (2014a) Towards Custom-Designed Professional Training Contents and Curriculums through Educational Process Mining. In: The Fourth International Conference on Advances in Information Mining and Management. Paris, France. 53-58.

    Cairns, A.H., Ondo, J.A., Gueni, B., Fhima, M., Schwarcfeld, M., Joubert, C., & Khelifa, N. (2014b). Using Semantic Lifting for Improving Educational Process Models Discovery and Analysis. In: Fourth international symposium on data-driven process discovery and analysis (SIMPDA). Milan, Italy. 150-161.

    Chen, J., Zhang, Y., Sun, J., Chen, Y., Lin, F., & Jin, Q. (2015). Personalized Micro-Learning Support Based on Process Mining. In: 7th International Conference on Information Technology in Medicine and Education (ITME). Huangshan, Anhui, China. 511-515.

    Doleck, T., Jarrell, A., Poitras, E.G., Chaouachi, M., & Lajoie, S.P. (2016). Examining Diagnosis Paths: A Process Mining Approach. In: Computational Intelligence & Communication Technology (CICT), Second International Conference. Ghaziabad, India. 663-667.

    Dutt, A., Aghabozrgi, S., Ismail, M. A. B., & Mahroeian, H. (2015). Clustering algorithms applied in educational data mining. In: International Journal of Information and Electronics Engineering, 5(2), 112.

    Emond, B., & Buffett, S. (2015). Analyzing Student Inquiry Data Using Process Discovery and Sequence Classification. In: International Educational Data Mining Society. Madrid, Spain. 412-416.

    Fayyad, U., Piatetsky-Shapiro, G., & Smyth, P. (1996). The KDD process for extracting useful knowledge from volumes of data. In: Communications of the ACM, 39(11), 27-34.

    Fernández-Gallego, B., Lama, M., Vidal, J. C., & Mucientes, M. (2013). Learning analytics framework for educational virtual worlds. In: Procedia Computer Science, 25, 443-447.

    Frawley, W. J., Piatetsky-Shapiro, G., & Matheus, C. J. (1992). Knowledge discovery in databases: An overview. In: AI magazine, 13(3), 57-70.

    Günther, C. W., & van der Aalst, W. M. (2007). Fuzzy mining–adaptive process simplification based on multi-perspective metrics. In: International Conference on Business Process Management. Brisbane, Australia. 328-343.

    Howard, L., Johnson, J., & Neitzel, C. (2010). Examining learner control in a structured inquiry cycle using process mining. In: Educational Data Mining. Pittsburgh, USA. 71-80.

    Jeong, H., Biswas, G., Johnson, J., & Howard, L. (2010). Analysis of productive learning behaviors in a structured inquiry cycle using hidden markov models. In: Educational Data Mining. Pittsburgh, USA. 81-90.

    Khodabandelou, G., Hug, C., Deneckere, R., & Salinesi, C. (2013). Process mining versus intention mining. In: Enterprise, Business-Process and Information Systems Modeling. Valencia, Spain. 466-480.

    Leemans, S. J. J., Fahland, D., & van der Aalst, W. M. P. (2014). Process and Deviation Exploration with Inductive Visual Miner. In: Business Process Management Demo Sessions (BPMD). Eindhoven, The Netherlands. 46-50.

    Lust, G., Elen, J., & Clarebout, G. (2013a). Regulation of tool-use within a blended course: student differences and performance effects. In: Computers & Education, 60(1), 385-395.

    Lust, G., Elen, J., & Clarebout, G. (2013b). Measuring students' strategy-use within a CMS supported course through students' tool-use patterns. In: 15th biennial conference EARLI. Munich, Germany. 571-572.

    Mekhala. (2015). A review paper on Process Mining. In: International Journal of Engineering Research and Technology, 1(4), 11-17.

    Mukala, P., Buijs, J., Leemans, M., & van der Aalst, W. (2015b). Learning Analytics on Coursera Event Data: A Process Mining Approach. In: Proceedings of the 5th International Symposium on Data-driven Process Discovery and Analysis. Vienna, Austria. 18-32.

    Mukala, P., Buijs, J., & van der Aalst, W.M.P. (2015a). Uncovering learning patterns in a MOOC through conformance alignments. In: Tech. rep., Eindhoven University of Technology, BPM Center Report BPM, 1509.

    Nesbit, J.C., Zhou, M., Xu, Y., & Winne, P. (2007). Advancing log analysis of student interactions with cognitive tools. In: 12th biennial conference of the european association for research on learning and insruction (EARLI). Budapest, Hungary. 2-20.

    Okoye, K., Tawil, A.R.H., Naeem, U., & Lamine, E. (2016). Discovery and Enhancement of Learning Model Analysis through Semantic Process Mining. In: International Journal of Computer Information Systems and Industrial Management Applications, 8, 93-114.

    Pechenizkiy, M., Trcka, N., Vasilyeva, E., van der Aalst, W., & De Bra, P. (2009). Process mining online assessment data. In: Educational Data Mining. Córdoba, Spain. 279-288.

    Perez-Rodriguez, R., Caeiro-Rodriguez, M., & Anido-Rifon, L. (2009). Enabling process-based collaboration in Moodle by using aspectual services. In: Ninth IEEE International Conference on Advanced Learning Technologies. Riga, Latvia. 301-302.

    Poncin, W., Serebrenik, A., & van den Brand, M. (2011a). Process mining software repositories. In: 15th European Conference on Software Maintenance and Reengineering (CSMR). Burlington, USA. 5-14.

    Poncin, W., Serebrenik, A., & van den Brand, M. (2011b). Mining student capstone projects with FRASR and ProM. In: Proceedings of the ACM international conference companion on Object oriented programming systems languages and applications companion. Portland, USA. 87-96.

    Porouhan, P., & Premchaiswadi, W. (2017). Process Mining and Learners' Behavior Analytics in a Collaborative and Web-Based Multi-Tabletop Environment. In: International Journal of Online Pedagogy and Course Design (IJOPCD), 7(3), 29-53.

    Reimann, P., Frerejean, J., & Thompson, K. (2009). Using process mining to identify models of group decision making in chat data. In: Proceedings of the 9th international conference on Computer supported collaborative learning. Rhodes, Greece. 98-107.

    Reimann, P., Markauskaite, L., & Bannert, M. (2014). e‐Research and learning theory: What do sequence and process mining methods contribute? In: British Journal of Educational Technology, 45(3), 528-540.

    Romero, C., Cerezo R., Bogarín, A., & Sánchez‐Santillán, M. (2016). Educational process mining: a tutorial and case study using moodle data sets. In: ElAtia, S., Ipperciel, D., & Zaïane, O.R. (Eds.). Data Mining and Learning Analytics: Applications in Educational Research. 1-28.

    Romero, C., Lopez, M.I., Luna, J.M., & Ventura, S. (2013). Predicting students' final performance from participation in online discussion forums. In: Computers&Education, 68, 458–472.

    Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005. In: Expert systems with applications, 33(1), 135-146.

    Romero, C., & Ventura, S. (2010). Educational data mining: a review of the state of the art. In: IEEE Transactions on Systems, Man, and Cybernetics, 40(6), 601-618.

    Romero, C., & Ventura, S. (2017). Educational data science in massive open online courses. In: Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 7(1), 1-12.

    Romero, C., Ventura, S., & García, E. (2008). Data mining in course management systems: Moodle case study and tutorial. In: Computers & Education, 51(1), 368-384.

    Rozinat, A., & van der Aalst, W.M. (2005). Conformance testing: Measuring the fit and appropriateness of event logs and process models. In: International Conference on Business Process Management. Nancy, France. 163-176.

    Schoonenboom, J., Levene, M., Heller, J., Keenoy, K., & Turcansyi, M. (2007). Trails in education: Technologies that support navigational learning. First Edition. SensePublishers.

    Schoor, C., & Bannert, M. (2012). Exploring regulatory processes during a computer-supported collaborative learning task using process mining. In: Computers in Human Behavior, 28(4), 1321-1331.

    Schulte, J., Fernandez de Mendonca, P., Martinez-Maldonado, R., & Buckingham Shum, S. (2017). Large scale predictive process mining and analytics of university degree course data. In: Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver, Canada. 538-539.

    Sedrakyan, G., De Weerdt, J., & Snoeck, M. (2016). Process-mining enabled feedback: “Tell me what I did wrong” vs. “tell me how to do it right”. In: Computers in Human Behavior, 57, 352-376.

    Siemens, G., & d Baker, R.S. (2012). Learning Analytics and Educational Data Mining: Towards Communication and Collaboration. In: Proceedings of the 2nd international conference on learning analytics and knowledge. Vancouver, Canada. 252-254.

    Southavilay, V., Yacef, K., & Callvo, R.A. (2010). Process mining to support students' collaborative writing. In: Educational Data Mining. Pittsburgh, USA. 257-266.

    Tóth, K., Rölke, H., Goldhammer, F., & Barkow, I. (2017). Educational process mining: New possibilities for understanding students' problem-solving skills. In: Csapó, B., & Funke, J. (Eds.). The Nature of Problem Solving: Using Research to Inspire 21st Century Learning. 193-209.

    Trcka, N., & Pechenizkiy, M. (2009). From local patterns to global models: Towards domain driven educational process mining. In: Ninth International Conference on Intelligent Systems Design and Applications. Pisa, Italy. 1114-1119.

    Trcka, N., Pechenizkiy, M., & van der Aalst, W.M.P. (2011). Process mining from educational data. In: Romero, C., Ventura, S., Pechenizkiy, M., & Baker, R.S.J.d. (Eds.). Handbook of educational data mining. 123-142.

    Vahdat, M., Oneto, L., Anguita, D., Funk, M., & Rauterberg, M. (2015). A Learning Analytics Approach to Correlate the Academic Achievements of Students with Interaction Data from an Educational Simulator. In: Design for Teaching and Learning in a Networked World. Toledo, Spain. 352-366.

    Van der Aalst, W.M. (2011). Process Mining: Discovery, Conformance and Enhancement of Business Processes. First Edition. Springer.

    Van der Aalst, W.M. (2016). Process mining: data science in action. Second Edition. Springer.

    Van der Aalst, W.M., Guo, S., & Gorissen, P. (2013). Comparative process mining in education: An approach based on process cubes. In: International Symposium on Data-Driven Process Discovery and Analysis. Riva del Garda, Italy: 110-134.

    Van der Aalst, W.M., Weijters, T., & Maruster, L. (2004). Workflow mining: Discovering process models from event logs. In: IEEE Transactions on Knowledge and Data Engineering, 16(9), 1128-1142.

    Van Dongen, B.F., de Medeiros, A.K.A., Verbeek, H.M.W., Weijters, A.J.M.M., & van der Aalst, W.M. (2005). The ProM framework: A new era in process mining tool support. In: International Conference on Application and Theory of Petri Nets. Miami, USA. 444-454.

    Vellido, A., Castro, F., & Nebot, A. (2011). Clustering Educational Data. In: Romero, C., Ventura, S., Pechenizkiy, M., & Baker, R.S.J.d. (Eds.). Handbook of Educational Data Mining. 75-92.

    Vermeulen, M., Mandran, N., & Labat, J.M. (2016). Chronicle of a scenario graph: from expected to observed learning path. In: 11th European Conference on Technology Enhanced Learning. Lyon, France. 321-330.

    Vidal, J.C., Lama, M., & Bugarín, A. (2012). Petri net-based engine for adaptive learning. In: Expert Systems with Applications, 39(17), 12799-12813.

    Vidal, J.C., Vázquez-Barreiros, B., Lama, M., & Mucientes, M. (2016). Recompiling learning processes from event logs. In: Knowledge-Based Systems, 100, 160-174.

    Wang, R., & Zaïane, O.R. (2015). Discovering Process in Curriculum Data to Provide Recommendation. In: Educational Data Mining. Madrid, Spain. 580-581.

    Washio, T., & Motoda, H. (2003). State of the art of graph-based data mining. In: Acm Sigkdd Explorations Newsletter, 5(1), 59-68.

    Weijters, A.J.M.M., van der Aalst, W.M., & de Medeiros, A.A. (2006). Process mining with the heuristics miner-algorithm. In: Tech. rep., Technische Universiteit Eindhoven, 166, 1-34.

    Witten, I.H., Eibe, F., & Hall, M.A. (2011). Data Mining, Practical Machine Learning Tools and Techniques. Third Edition. Morgan Kaufman Publishers.

    Zimmerman, B. J. (1990). Self-regulated learning and academic achievement: An overview. In: Educational psychologist, 25(1), 3-17.