Modelos genéricos para la predicción de las notas finales en cursos a partir de la información de interacción de los estudiantes con el sistema moodle

• Autores: Javier López Zambrano
• Directores de la Tesis: Juan Alfonso Lara Torralbo (dir. tes.) , Cristóbal Romero Morales (dir. tes.)
• Lectura: En la Universidad de Córdoba (ESP) ( España ) en 2021
• Idioma: español
• Tribunal Calificador de la Tesis: Juan Pazos Sierra (presid.) , Rebeca Cerezo Menéndez (secret.) , Sebastián Ventura Soto (voc.)
• Enlaces
  • Tesis en acceso abierto en: Helvia
• Resumen

  • 1. Introducción o motivación de la tesis Uno de los principales retos tecnológicos de los sistemas educativos en línea o basados en la Web es el desarrollo de sistemas automáticos para la predicción del rendimiento académico de los alumnos con el objetivo de poder ayudar a los alumnos con algún tipo de problema a tiempo para que no lleguen a abandonar o suspender las asignaturas y cursos. Existen multitud de investigaciones (Castro et al., 2007) relacionadas con el análisis de los datos que genera cada estudiante mientras interactúa con dichos sistemas. Según Koedinger et al., (2010) los estudiantes en línea pueden generar grandes repositorios de datos, los cuales reflejan el proceso de aprendizaje de los mismos en la denominada educación basada en la web (e-learning).

    Para analizar estos grandes volúmenes de datos, se ha propuesto la utilización de técnicas de Minería de Datos o DM por sus siglas en inglés (Data Mining), y de análisis de datos o LA por sus siglas en inglés (Learning Analytics) con el objetivo de la extracción de información interesante, interpretable, útil y novedosa (Fayyad et al., 1996). Esta aplicación concreta de técnicas de minería de datos a la información generada en los entornos educativos se le conoce como Minería de Datos Educativa o EDM por sus siglas en inglés (Educational Data Mining) (Romero & Ventura, 2020). EDM utiliza las mismas técnicas que DM pero con ciertas adaptaciones de acuerdo con los problemas específicos que se intenten resolver (Romero & Ventura, 2010).

    Una de las técnicas más populares en EDM, es la clasificación que se utilizar para predecir el rendimiento o nota final de los estudiantes en los cursos (Romero & Ventura, 2019). La Clasificación es la técnica de minería de datos que empareja o asocia datos a grupos predefinidos (aprendizaje supervisado), encuentra modelos (funciones) que describen y distinguen clases o conceptos para futuras predicciones y es probablemente la tarea más familiar y más popular de la minería de datos (Chen et al., 2000). Esta técnica se basa en el uso de etiquetado para realizar un mapeo desde un espacio de características (discreto o continuo) a un conjunto discreto de etiquetas (Duda et al., 2000) y en nuestro caso se utiliza para la predicción de desempeño o rendimiento de los estudiantes y su calificación final. Existen multitud de algoritmos de clasificación que se pueden agrupar en: Estadísticos (Regresión simple, regresión múltiple, bayes, ...), Distancia (k vecinos más cercanos,...), Árboles de decisión (ID3, C4.5, CART,...), Redes neuronales (Retropropagación, ...), Reglas (Class Association Rules), etc.

    Por otro lado, de los innumerables sistemas actuales de educación basados en la web o e-learning o LMSs de las siglas en inglés (Learning Management Systems) , el más utilizado a nivel mundial es Moodle que es una “plataforma de aprendizaje diseñada para proporcionar a educadores, administradores y estudiantes un sistema integrado único, robusto y seguro para crear ambientes de aprendizaje personalizados” (Sánchez, 2009). En Moodle, un docente puede utilizar varios recursos y actividades para incluir en sus cursos. Los recursos (Archivo, Carpeta, Etiqueta, Libro, Página, entre otros) son objetos con los que se asiste al proceso de enseñanza – aprendizaje, mientras que una actividad (Tareas, Chat, Foros, Lecciones, Wikis, entre otros) es un trabajo que el alumno realizará, de forma individual o grupal, bien sea interactuando con otros compañeros y/o docente.

    Moodle registra todas las actividades de los estudiantes en una base de datos relacional que almacena toda la información, tales como: datos personales del usuario (perfil), resultados académicos (grados) y datos de interacción del usuario (leer, escribir, realizar pruebas y tareas en entornos virtuales, comentar los eventos con sus compañeros, etc.), toda esta información está distribuidas en una gran cantidad de atributos/variables, por lo tanto, puede ser importante seleccionar solo un grupo representativo de atributos para reducir la dimensionalidad de los datos y crear una nuevo conjunto de datos (resumen) que proporcione toda la información importante relacionada con los estudiantes enrolados en el curso. Por ejemplo, la Tabla 1 muestra una lista de las características o atributos que han utilizados con éxito para predecir la nota final de estudiante en un curso de Moodle, (Romero et al., 2008).

    Tabla 1. Ejemplo de lista de atributos seleccionado por estudiante en cursos de Moodle Nombre Descripción id_student Número de identificación del estudiante id_course Número de identificación del curso num_sessions Número de sesiones num_assigment Número de tareas realizadas num_quiz Número de pruebas tomadas a_scr_quiz Puntaje promedio en pruebas num_posts Número de mensajes enviados a foros num_read Número de mensajes leídos en foros t_time Tiempo total utilizado en Moodle.

    t_assignment Tiempo total utilizado en las tareas t_quiz Tiempo total utilizado en pruebas t_forum Tiempo total utilizado en foros f_scr_course Resultado final del estudiante obtenido en el curso Pero estos atributos son sólo una propuesta específica de posibles variables que se pueden utilizar para capturar, recoger o modelar la información de interacción de los usuarios cuando utilizan Moodle con el objetivo de predecir su nota final en el curso. De hecho, existen una gran cantidad de trabajos sobre este mismo problema que utilizan otros atributos diferentes. Por ejemplo, en varios artículos se han enumerado una lista de otros posibles atributos, variables o características (ver Tabla 2) que se pueden utilizar para predecir la nota de los alumnos en Moodle (Conijn et al. ,2016), (Macfadyen & Dawson, 2010). Aunque existen muchas herramientas específicas de minería de datos que utilizan datos de Moodle (Luna et al., 2017), no se ha encontrado ninguna diseñada para preprocesar los logs de Moodle directamente y exportarlos a un formato estándar tipo CSV (Comma Separated Values) para poder ser utilizados por las herramientas más típica de minería de datos como Weka, rapidMiner, etc. Por ello, durante la primera etapa de la tesis se ha desarrollado una herramienta que nos permitiera preprocesar y preparar los datos de todos los cursos de Moodle que se utilizaron posteriormente en las pruebas experimentales.

    Tabla 2. Otras variables utilizadas para la predicción de notas en Moodle.

    Descripción Número total de clicks Número de páginas de curso vistas Número de páginas de contenidos vistas Número de recursos consultados Número de enlaces vistos Número de archivos vistos Número total de debates(foros) posteados Número de nuevos mensajes de foros posteados Número de respuestas a mensajes de foros Número de visitas al área de chat del curso Número de pruebas vistas Número de pruebas aprobadas Número de intentos por pruebas Número de ediciones wiki Número de vistas wiki Número de mensajes de mail leídos Número de mensajes de mail enviados Número de uso de la herramienta “Compile” Número de uso de la función “Search” Número de visitas a la herramienta “MyGrades” Número de visitas a la herramienta “MyProgress” Número de usos del visor “Who is online” Irregularidad del tiempo de estudio Irregularidad del intervalo de estudio Periodo más largo de inactividad Tiempo hasta la primera actividad Tiempo promedio por sesión Existen muchos trabajos de investigación en esta misma línea, donde cada autor utiliza sus propios conjuntos diferentes de atributos heterogéneos recogidos de Moodle para predecir la nota final de sus alumnos (Conijn et al., 2016) (Macfadyen & Dawson, 2010b). Este supone un grave problema a la hora de querer transferir o portar los modelos de predicción generados con los datos de un curso a otros cursos diferentes, debido a la especificidad de los mismos respecto a las características de los atributos. Esto plantea la necesidad de generalizar los atributos a un determinado nivel, de forma tal que sean comunes a todos los cursos de Moodle y así poder crear modelos lo más genéricos posible.

    En esta tesis se propone una solución al problema de la especificad de los datos y modelos de predicción de los cursos de Moodle. Para ello se propone aplicar algoritmos de clasificación basada en datos discretizados primeramente y después en ontologías con niveles de granularidad más alta.

    Para ello se propone comprobar si un modelo de predicción de las notas finales de los estudiantes obtenido a partir de los datos de interacción con un curso o asignatura dentro del sistema Moodle basado en atributos genéricos (atributos de alto nivel y ontologías) puede ser transferido (con una precisión aceptable) en lugar de un típico modelo basado en atributos específicos (atributos de bajo nivel relacionadas con frecuencias de eventos) a otros cursos diferentes. Hasta ahora los modelos de predicción de la nota final de los estudiantes a partir de los datos de utilización de Moodle descubiertos en diferentes trabajos/papers (Cristóbal Romero et al., 2008) (Romero et al., 2013) (Cerezo et al., 2016) (Won, 2016) utilizan atributos específicos basados en frecuencias para cada curso concreto y por tanto los modelos de clasificación descubiertos con los datos de estudiantes de un curso no se pueden utilizar para predecir a estudiantes de un curso distinto. Esto es debido principalmente a que los atributos utilizados en cada modelo son distintos dependiendo del investigador, herramienta, etc. Normalmente estos atributos suelen ser de muy bajo nivel (demasiado concretos), basados en frecuencias, de tipo numérico (con diferentes rangos) y específicamente seleccionados por el usuario con un nombre determinado. Todo esto impide que los modelos sean generalizables y transferibles, sino totalmente específicos. Para solucionar este problema, se propone en esta Tesis generar modelos de predicción genéricos que estén basados en un conjunto común de atributos de alto nivel o granularidad, que puedan estar relacionados con comportamientos o actividades (del tipo: nivel de utilización, nivel de interacción, nivel de comunicación y nivel de evaluación) y además con valores discretizados en una misma escala (muy básica e intuitiva tipo Alto, Bajo y Medio). De esta forma se podría reutilizar los modelos generados con un curso para predecir la nota de otros cursos diferentes del curso original donde se ha obtenido. Esto permitiría transferir el mismo modelo de predicción a cursos donde o bien no existan todavía datos al ser un curso nuevo, o bien tenga muy pocos alumnos anteriores o simplemente no se tenga acceso a los datos de años anteriores por cualquier motivo. También se podrían utilizar para hacer comparaciones directamente de los modelos de predicción/clasificación obtenidos por diferentes trabajos sobre los mismos datos, cosa que actualmente no se suele hacer.

    Finalmente, es importante comprobar la validez, desde el punto de vista de la exactitud o perdida de precisión que se produce cuando transferimos los modelos genéricos con respecto a los específicos, y si esta puede variar mucho o no cuando se aplican en diferentes tipos de cursos, estudios y titulaciones, etc. Para ello se propone utilizar tanto datasets con atributos específicos obtenidos directamente de diferentes logs de cursos de Moodle, como datasets con atributos más genéricos obtenidos del preprocesado y aplicación de ontologías y así poder comparar las precisiones obtenidas con algoritmos de clasificación al utilizar ambos modelos cuando se aplica sobre cursos de distintas topologías o niveles de uso: cursos básicos donde los profesores sólo tienen contenidos teóricos o recursos de visualización (ficheros Word o PDF, Power Point, etc.), cursos más avanzados que también usan foros, y que además usan tareas (assigments), hasta cursos más completos que incluso usan otros recursos/actividades no tan habituales como: wikis, diarios, cuestionarios/test y otras herramientas de evaluación.

    2. Contenido de la investigación Objetivos El objetivo principal de esta tesis es la generación de modelos genéricos de predicción de las notas finales de los estudiantes, en cursos a partir de la información de interacción con el sistema MOODLE, que puedan ser transferibles o portables a otros cursos diferentes de los originales. Para alcanzar este objetivo principal se definieron los siguientes 3 subjetivos: • O1: Realizar una revisión sistemática del estado del arte sobre la Predicción del rendimiento del aprendizaje de los estudiantes mediante técnicas de minería de datos. A partir de ella, se podrá conocer cuáles son tanto los algoritmos como los datos y/o atributos más utilizados que deberemos utilizar en la tesis.

    • O2: Evaluar la portabilidad de los modelos clásicos de predicción del rendimiento académico en cursos universitarios a partir de los eventos que proporcionan los ficheros logs sobre la interacción de los alumnos con la plataforma Moodle. Esto nos permitirá calcular cual es la perdida de exactitud que se produce al transferir los modelos de predicción a otros cursos.

    • O3: Mejorar la portabilidad de los modelos de predicción del rendimiento de los estudiantes mediante el uso de ontologías. Se propondrá una ontología en base a atributos de alto nivel que permita generalizar los modelos y se comprobará la mejora en la perdida de exactitud al transferir dichos modelos.

    Hipótesis Cada uno de los anteriores Objetivos, tiene asociado un conjunto de hipótesis. Concretamente las siguientes hipótesis H1.1, H1.2 y H1.3 están relacionadas con el objetivo O1, y estas se abordan en el artículo titulado: “Early Prediction of Student Learning Performance through Data Mining: A systematic review” (López-Zambrano et al. 2021b) donde se hace una revisión del estado de arte sobre los principales modelos de predicción temprana del rendimiento académico, sirviendo como base para el desarrollo del objetivo principal de la tesis: • H1.1: La mayoría de los trabajos de investigación sobre predicción temprana de rendimiento académico se han realizado en los sistemas de educación en línea y de nivel Universitario.

    • H1.2: La técnica y algoritmos mayormente utilizados en investigaciones relacionadas con la predicción temprana de rendimiento académico son clasificadores de tipo caja blanca.

    • H1.3: Los trabajos de investigación sobre predicción temprana de rendimiento académico realizados hasta la actualidad no definen modelos genéricos que sean portables a otros cursos, sino que son específicos a cada curso y utilizan variables o atributos de bajo nivel muy concretos.

    Las hipótesis H2.1 y H2.2 están relacionadas con el objetivo O2, y estas se abordan en el artículo titulado: “Towards portability of models for predicting students’ final performance in university courses starting from Moodle Logs” (López-Zambrano at al., 2020): • H2.1: La portabilidad de los modelos de predicción clásicos (basados en atributos numéricos y discretos de bajo nivel) tiene una menor pérdida de exactitud cuando se realiza entre cursos de una misma titulación.

    • H2.2: La portabilidad de dichos modelos predictivos tiene una menor pérdida de exactitud cuando se realiza entre cursos similares desde el punto de vista del número de recursos y actividades de Moodle que utilizan.

    Las hipótesis H3.1 y H3.2 están relacionadas con el objetivo O3, y esta se aborda en el artículo titulado: “Improving the portability of predicting students’ performance models by using ontologies” (López-Zambrano et al. 2021a): • H3.1: La utilización de una ontología con atributos de alto nivel de granularidad mejora la portabilidad de los modelos predictivos con respecto a los modelos clásicos que utilizan atributos de bajo nivel basados en eventos.

    • H3.2: La portabilidad de los modelos predictivos mejora cuando se transfieren los modelos entre cursos de la misma titulación o área y que además son similares desde el punto de vista del número de actividades/recursos de Moodle que utilizan.

    3. Conclusión Tras el desarrollo de la presente tesis se han obtenido varias conclusiones que podemos agrupar en 3 grandes grupos y que han sido abordados en los 3 artículos con índice de impacto que se han publicado.

    Primeramente, tras realizar una revisión sistemática del estado del arte en la predicción del rendimiento académico de los estudiantes utilizando técnicas de minería de datos (López-Zambrano et al. 2021b) se obtuvieron las siguientes conclusiones: • Respecto a la hipótesis H1.1 se puede concluir que de los artículos revisados, hay un 57.3% que han utilizado datos principalmente del aprendizaje en línea, y un 86.6% de artículos describieron estudios realizados con estudiantes de educación terciaria lo que indica que la mayor parte del esfuerzo hasta la fecha ha sido en la predicción temprana con estudiantes universitarios, lo que también está de acuerdo con la accesibilidad de los datos, debido a que en estos entornos de aprendizaje es más fácil recopilar, gestionar y analizar datos.

    • Respecto a la hipótesis H1.2, este estudio revela que la clasificación es la técnica más utilizada, seguida de regresión (ambas son técnicas supervisadas), considerándose como las dos técnicas principales de DM que se han aplicado tradicionalmente a la predicción temprana del rendimiento académico de los estudiantes; sin embargo, cabe señalar que la aplicación de asociación y agrupamiento en conjunto con las dos anteriores puede implicar una cierta tendencia. También se evidencia que los algoritmos más utilizados fueron Naive Bayes, Decision Tree, Support Vector Machine y Logistic Regression, lo cual es concordante con las técnicas más utilizadas ya que los tres primeros corresponden a algoritmos de clasificación y el último es de regresión.

    • Respecto a la hipótesis H1.3, el estudio realizado, evidencia que las variables y los atributos de los estudiantes utilizados para la predicción varían según el entorno educativo, e incluso dentro del mismo entorno, las variables varían entre estudios. Los investigadores, han utilizado diferentes grupos de variables en cada artículo, lo que dificulta la tabulación de las variables por frecuencia de uso. En general, estas variables provienen de las mismas fuentes de datos, como la demografía de los estudiantes, las actividades de los estudiantes y las interacciones de los estudiantes, lo cual nos lleva a inferir que es muy difícil poder transferir los modelos de predicción generados en un curso a otros cursos diferentes, debido a que utilizan atributos diferentes y específicos, y además que se obtendrá una pérdida importante de exactitud.

    A continuación, tras aplicar nuestro primera propuesta o enfoque experimental (López-Zambrano et al. 2020) aplicando el algoritmo de clasificación J48 (versión Java del clásico algoritmo C4.5) sobre los logs de Moodle de 24 asignaturas de la Universidad de Córdoba, se obtuvieron los valores de AUC (área bajo la curva ROC) y la pérdida de AUC de los modelos de predicción del rendimiento académico al aplicarlos a diferentes cursos del mismo grupo usando conjuntos de datos numéricos y discretizados. Como conclusiones respecto al planteamiento de nuestras hipótesis se obtuvo que: • Respecto a la hipótesis H2.1, se pudo observar en los experimentos evaluamos, habiendo considerado cuatro grupos diferentes (Informática, Educación, Ingeniería y Física), que la portabilidad de modelos de predicción entre cursos pertenecientes a la misma titulación según los valores promedio de AUC no son muy altos (tanto en conjuntos de datos numéricos como discretizados). También se pudo observar que la pérdida de AUC es mejor en los conjuntos de datos discretizados que en los numéricos, consiguiendo pérdidas de 0.003 (la más baja) y 0.126 (la más alta), cuyo valor más bajo está muy cerca de la portabilidad perfecta.

    • Respecto a la hipótesis H2.2, se pudo observar que la portabilidad de modelos de predicción entre cursos con un nivel similar de uso de actividades de Moodle considerado tres grupos diferentes (Alto, Medio y Bajo), los mejores valores de AUC se obtienen nuevamente con los conjuntos de datos discretos. Y, también se observó que la pérdida de AUC es mejor en los conjuntos de datos discretizados que en los numéricos, consiguiendo pérdidas de 0.009 (la más baja) y 0.061 (la más alta). Además, en ambos experimentos se consiguen valores de perdida de portabilidad muy buenos con algunos modelos predictivos, en concordancia con Baker, (2019) quien indica que los modelos de predicción son portables siempre que sus valores de pérdida de portabilidad se mantengan alrededor de 0,1 (y el AUC se mantenga por encima de la aleatoriedad).

    Finalmente, se propuso un segundo enfoque (López-Zambrano et al. 2021a) donde se utilizaron atributos de alto nivel con un significado semántico más alto mediante el uso de una ontología que utiliza una taxonomía de acciones que resume las interacciones de los estudiantes con el sistema de gestión del aprendizaje Moodle. Tras realizar una comparación con los resultados del anterior enfoque inicial (hipótesis H2.2) que utilizaba atributos de bajo nivel con respecto al nuevo enfoque propuesto que utiliza atributos de alto nivel basados en ontología, obtuvimos las siguientes conclusiones sobre las hipótesis: • Respecto a la hipótesis H3.1, los resultados obtenidos muestran que el uso de la ontología con atributos de alto nivel y discretizados mejora significativamente la portabilidad de los modelos en cuanto a su exactitud predictiva y que se pueden aplicar a otros cursos diferentes con niveles de uso de actividades y recursos de Moodle similares sin perder mucha exactitud en la predicción (pérdida de AUC).

    • Respecto a la hipótesis H3.2, los resultados obtenidos muestran además que la portabilidad de los modelos predictivos mejora cuando se transfieren los modelos obtenidos entre cursos de la misma titulación o área y que además utilizan similares actividades y recursos en Moodle.

    Futuras mejoras y líneas El tema tratado en esta tesis de la generación de modelos genéricos y su portabilidad o transferibilidad a asignaturas diferentes de las cuales han sido obtenidos es de gran interés y futuro. Creemos que esta es una línea novedosa y muy prometedora, donde se puede avanzar mucho y donde nosotros vemos las siguientes líneas potenciales o futuras de investigación donde llevar a cabo nuevos experimentos: 1. Utilizar una cantidad mucho mayor con respecto al número de asignaturas (y no sólo 24 asignaturas), de muchas más titulaciones diferentes (no sólo 5 titulaciones) de otros campos como ciencia, biología, medicina, filosofía y literatura, incluso de otras Universidades (y no sólo de una) para así poder comprobar de una forma mucho más fiable como de buenos son nuestros resultados obtenidos cuando se aplican a un conjunto de datos mucho mayor y más genérico.

    2. Obtener modelos predictivos lo antes posible que puedan ser portables en las primeras etapas o semanas de los cursos. Esto significa que no tendríamos que esperar hasta el final del curso para tener disponibles todos los datos de uso de Moodle, y los modelos obtenidos podrían usarse como modelos generales de predicción de alerta temprana para diferentes cursos similares (Cristóbal Romero & Ventura, 2019). Para ello se deben obtener datasets de las asignaturas en etapas incrementales de tiempo: la primera semana, segunda, etc. o el primer mes, segundo mes, etc. y así poder comparar la transferibilidad de dichos modelos de predicción temprana con respecto a los modelos completos (utilizando los datos de todo el curso completo).

    3. Aplicar nuestra propuesta de modelos predictivos con ontologías no solo a otros Sistemas de Gestión del Aprendizaje diferentes a Moodle como pueden ser CANVAS, Ilias, atutor, Claroline, etc. sino también a otros dominios o tipos de sistemas educativos basados en computador y Web diferentes como los Sistemas de Tutoría Inteligente (ITSs), Cursos Abiertos Masivos Online (MOOCs), entornos educativos presenciales tradicionales, entornos de aprendizaje mixto (Blended Learning) y aprendizaje multimodal, etc.

    4. Utilizar otros criterios para agrupar todas las asignaturas (además de la titulación y el nivel de uso de recursos/actividades de Moodle) de diferentes formas o grupos y así analizar qué tan portables son los modelos dentro de esos grupos y qué formas de agrupación son las ideales desde el punto de vista de mejora de la portabilidad y transferibilidad de modelos genéricos de predicción. Por ejemplo, se podría utilizar el número de estudiantes, el número de tareas de evaluación, la metodología utilizada por el instructor, etc.

    Contribuciones científicas Se indican a continuación toda la producción investigativa generada en la presente tesis, misma que se anexan en la parte II de publicaciones:

    • Comunicación en Congreso Internacional (CORE B): C1. López-Zambrano, J., Martinez, J. A., Rojas, J., & Romero, C. (2018). A tool for preprocessing moodle data sets. In Proceedings of the 11th International Conference on Educational Data Mining, Buffalo, NY, USA (pp. 15-18).

    • Ponencia en Congreso Internacional: P1. López-Zambrano, Lara, J.A., & Romero, C. (2019). MODELOS GENÉRICOS PARA LA PREDICCIÓN DE LAS NOTAS FINALES EN CURSOS A PARTIR DE LA INFORMACIÓN DE INTERACCIÓN DE LOS ESTUDIANTES CON EL SISTEMA MOODLE. I Congreso Internacional y Multidisciplinario de Investigadores en Formación en Ecuador. Manta, Ecuador (pp. 110-111).

    • Artículo en Revista con factor de impacto (incluida en el JCR): A1. López-Zambrano, J., Lara, J. A., & Romero, C. (2020). Towards portability of models for predicting students’ final performance in university courses starting from Moodle Logs. Applied Sciences, 10(1), 354.

    A2. López-Zambrano, J., Lara, J. A., & Romero, C. (2021). Improving the portability of predicting students’ performance models by using ontologies. Journal of Computing in Higher Education, 1-19. In Press.

    A3. López-Zambrano, J., Lara, J. A., & Romero, C. (2021). Early Prediction of Student Learning Performance through Data Mining: A systematic review. Psicothema. In Press.

    4. Bibliografía Ajlan, A.A. & Zedan, H. (2008). Why moodle. 12th IEEE International Workshop on Future Trends of Distributed Computing Systems. Suzhou, China, 58-64. https://doi.org/10.1109/FTDCS.2008.22 Castro, F., Vellido, A., Nebot, À., & Mugica, F. (2007). Applying data mining techniques to e-learning problems. Studies in Computational Intelligence. https://doi.org/10.1007/978-3-540-71974-8_8 Cerezo, R., Sánchez-Santillán, M., Paule-Ruiz, M. P., & Núñez, J. C. (2016). Students’ LMS interaction patterns and their relationship with achievement: A case study in higher education. Computers and Education, 96, 42–54. https://doi.org/10.1016/j.compedu.2016.02.006 Chen, G.-D., Liu, C.-C., Ou, K.-L., & Liu, B.-J. (2000). Discovering Decision Knowledge from Web Log Portfolio for Managing Classroom Processes by Applying Decision Tree and Data Cube Technology. Journal of Educational Computing Research, 23(3), 305–332. https://doi.org/10.2190/5JNM-B6HP-YC58-PM5Y Conijn, R., Snijders, C., Kleingeld, A., & Matzat, U. (2016). Predicting student performance from LMS data: A comparison of 17 blended courses using Moodle LMS. IEEE Transactions on Learning Technologies, PP(99), 1. https://doi.org/10.1109/TLT.2016.2616312 Duda, R. O., Stork, D. G., & Hart, P. E. (2000). Pattern classification: Pt. 1: Pattern classification. New York: John Wiley \& Sons.

    Fayyad, U., Piatetsky-Shapiro, G., & Smyth, P. (1996). From Data Mining to Knowledge Discovery in Databases. AI Magazine. https://doi.org/10.1609/aimag.v17i3.1230 Koedinger, K., Cunningham, K., Skogsholm, A., & Leber, B. (2008). An open repository and analysis tools for fine-grained , longitudinal learner data. Proceedings of the 1st International Conference on Educational Data Mining. https://doi.org/Research supported by the National Science Foundation award number SBE-0354420.

    Luna, J. M., Castro, C., & Romero, C. (2017). MDM tool: A data mining framework integrated into Moodle. Computer Applications in Engineering Education, 25(1), 90–102. https://doi.org/10.1002/cae.21782 Macfadyen, L. P., & Dawson, S. (2010a). Mining LMS data to develop an “early warning system” for educators: A proof of concept. Computers and Education, 54(2), 588–599. https://doi.org/10.1016/j.compedu.2009.09.008 Macfadyen, L. P., & Dawson, S. (2010b). Mining LMS data to develop an “early warning system” for educators: A proof of concept. Computers and Education, 54(2), 588–599. https://doi.org/10.1016/j.compedu.2009.09.008 Romero, C., Espejo, P. G., Zafra, A., Romero, J. R., & Ventura, S. (2013). Web usage mining for predicting final marks of students that use Moodle courses. Computer Applications in Engineering Education, 21(1), 135–146. https://doi.org/10.1002/cae.20456 Romero, C., & Ventura, S. (2020). Educational data mining and learning analytics: An updated survey. WIREs Data Mining and Knowledge Discovery, 10(3). https://doi.org/10.1002/widm.1355 Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man and Cybernetics Part C: Applications and Reviews, 40(6), 601–618. https://doi.org/10.1109/TSMCC.2010.2053532 Romero, C., & Ventura, S. (2019). Guest Editorial: Special Issue on Early Prediction and Supporting of Learning Performance. IEEE Transactions on Learning Technologies, 12(2), 145–147. https://doi.org/10.1109/TLT.2019.2908106 Romero, C., Ventura, S., & García, E. (2008). Data mining in course management systems: Moodle case study and tutorial. Computers and Education, 51(1), 368–384. https://doi.org/10.1016/j.compedu.2007.05.016 Sánchez, I. (2009). Plataforma educativa Moodle: administración y gestión. Editorial Alfaomega, México-México.

    Won, J. (2016). Identifying significant indicators using LMS data to predict course achievement in online learning. Internet and Higher Education, 29, 23–30. https://doi.org/10.1016/j.iheduc.2015.11.003