Evaluation as a learning moment – behavioural analysis in an e-learning environment
- Autores: Sérgio Gonçalves
- Directores de la Tesis: Florentino Fernández Riverola (dir. tes.)
, Paulo Novais (dir. tes.) , Davide Rua Carneiro (dir. tes.) - Lectura: En la Universidade de Vigo ( España ) en 2017
- Idioma: inglés
- Tribunal Calificador de la Tesis: Javier Bajo Pérez (presid.) , Rosalía Laza Fidalgo (secret.) , Juan Francisco de Paz Santana (voc.)
- Enlaces
- Tesis en acceso abierto en: Investigo
- Resumen
Las relaciones entre profesor y alumno son un aspecto fundamental en el éxito del aprendizaje, tanto por parte del estudiante como del docente, y representan uno de los aspectos clave a la hora de determinar el éxito o el fracaso del trabajo llevado a cabo por el profesor. Las relaciones consideradas como positivas, en términos de respeto y empatía, acentúan las habilidades de los alumnos y los hacen partícipes del proceso de aprendizaje.
En este sentido, la relación entre alumno y profesor ha sido una de las mayores preocupaciones del contexto educativo. En prácticas educativas, a menudo se observa que aunque se preste la atención debida al tema en cuestión objeto de estudio, distintas acciones llevadas a cabo en el entorno pueden llegar a fallar.
En cualquier proceso de aprendizaje humano, la interacción social y la mediación con los estudiantes son aspectos fundamentales en el aula. Se puede afirmar sin lugar a dudas que la interacción entre profesor y alumno resulta esencial para el éxito de proceso de enseñanza aprendizaje. Sin embargo, el concepto de Aprendizaje se ha ido modificando para incorporar cada vez más el componente tecnológico como una parte esencial en la educación.
En este sentido, y en relación directa con el crecimiento de Internet y la popularización de la WWW, hoy en día existen modelos de educación a distancia (e-Learning) en los que la comunicación y la interacción son características muy valoradas. Factores como el coste reducido de acceso a la información, la independencia temporal y espacial de dicho acceso y la facilidad de publicación y distribución de contenidos, son parte inseparable del crecimiento y desarrollo del e-Learning.
Inicialmente, el e-Learning 1.0 se caracterizó por tratar de crear los contenidos perfectos basados en nuevos recursos multimedia como animaciones y/o simulaciones, que complementaban el material usado tradicionalmente como libros y otros medios físicos. En el fondo, se encuentra la confluencia del conocimiento escrito con el contenido multimedia.
El e-Learning 2.0, el más utilizado actualmente, se basa en el uso de herramientas y programas de gran popularidad entre los usuarios como mensajería instantánea, vídeo en tiempo real y webcasting, etc. En este sentido, se observa cómo la usabilidad de la tecnología tiende a mejorar, y en lugar de llevarse a cabo un duro aprendizaje tecnológico, éste es realizado de manera más social.
De forma similar, mientras la Web 2.0 se basaba fundamentalmente en la creación de grandes cantidades de contenido almacenado pero raramente utilizado por terceros, la Web 3.0 busca justamente sacar partido a todos esos recursos actualmente disponibles, y en este contexto los métodos y técnicas de Inteligencia Artificial (AI, Artificial Intelligence) juegan un papel fundamental.
El concepto clave de la Web 3.0 se basa en la existencia de aplicaciones web que proporcionan un valor añadido al usuario, facilitándole información precisa y confiable. La idea de conocimiento en cualquier instante y en cualquier lugar es de suma importancia hoy en día, debido fundamentalmente a la proliferación masiva de nuevos dispositivos móviles como teléfonos inteligentes y tablets. En este sentido, hoy en día se debe tener muy presente la capacidad para poder interoperar con diferentes plataformas utilizando dispositivos de distinto tipo.
En la actualidad, la inteligencia ambiental (AmI, Ambient Intelligence) está comenzando a cambiar el modo en que la gente percibe el uso de los ordenadores. De hecho, se puede afirmar que por primera vez los ordenadores comenzarán a trabajar para los usuarios, en lugar de ser los usuarios los que trabajan con ellos. Los ordenadores, cuando se encuentran inmersos en ambientes inteligentes, dejan de ser meros dispositivos programables y pueden aprender los gustos de los usuarios, las actividades que realizan, sus costumbres y preferencias, todo ello con la finalidad de simplificar y mejorar su día a día. Son cada vez más pequeños y se encuentran ocultos en dispositivos de uso común, lo que hace que habitualmente sean indetectables.
Desde un punto de vista físico, un ambiente inteligente se compone del entorno en sí mismo (la casa, un coche, un centro educativo, etc.) los dispositivos que existen en él y algún tipo de comunicación que posibilita el intercambio de información. Los dispositivos pueden ser teléfonos móviles, aparatos de aire acondicionado, portátiles u ordenadores de sobremesa, servidores multimedia, PDAs, etc., todos ellos de uso común en la actualidad. La novedad reside en que se encuentran interconectados a través de una red de control de forma que pueden ser monitorizados o monitorizar, controlados o controlar, a otros dispositivos desde cualquier punto de la red. Por sí sola, esta implantación no sería muy diferente de lo que hoy en día se conoce con el término de domótica, pero AmI es mucho más que un simple conjunto de elementos interconectados de forma conjunta. En concreto, en AmI los componentes permanecen ocultos, y en un ambiente inteligente ideal el usuario no debería percibir ningún elemento extraño, siendo simplemente perceptibles los dispositivos por el hecho de llevar a cabo acciones de forma autónoma.
Algunas de las características distintivas de la inteligencia ambiental son la capacidad de aprender nuestro comportamiento, adaptase a nosotros, permanecer oculta en nuestros dispositivos, ser consciente del entorno en el cual nos movemos, así como la habilidad para predecir nuestras acciones. Sin embargo, para logar que todo esto sea una realidad resulta necesario salvar un obstáculo importante: ¿cómo obtener la enorme cantidad de información necesaria para que el sistema disponga de una base de conocimiento que sea útil para la toma de decisiones?. Para ello se requiere de una red de sensores capaz de recopilar toda esta información garantizando siempre una total transparencia de cara al usuario, puesto que estamos hablando de inteligencia del entorno.
En este contexto, y en relación directa con la hipótesis planteada en la presente investigación (‘el estado de los estudiantes puede ser cuantificado y clasificado utilizando medios no intrusivos para mejorar el proceso de enseñanza aprendizaje’), tanto el ratón como el teclado representan dos alternativas viables para la captura de información. Ambos son dispositivos de uso común por parte de los usuarios, aunque es necesario tener en cuenta aspectos relativos a la privacidad. Para el caso concreto que nos ocupa, se podría plantear la utilización de otro tipo de sensores quizás más avanzados, pero obviamente más intrusivos, lo que iría en contra del objetivo de minimizar las perturbaciones ocasionadas por la necesidad de monitorizar la actividad del usuario de forma continua.
Sin embargo, para resolver de forma adecuada el problema planteado, la tecnología no es suficiente, sino que resulta fundamental su adaptación a las teorías formales del aprendizaje. En este sentido, la comunicación efectiva entre profesor y alumno es una de las asunciones principales si se desea lograr un aprendizaje efectivo. De hecho, el estudiante necesita transmitir información al profesor acerca de distintos temas relacionados con el aprendizaje y las metodologías utilizadas. Cuando el aprendizaje tiene lugar físicamente en el aula, el profesor dispone de numerosa información de modo inmediato acerca de las reacciones de los estudiantes, así como de su comportamiento y actitud.
Sin embargo, el modo tradicional de relacionarse ha cambiado de forma radical con la aparición de nuevas plataformas de comunicación que han surgido como respuesta a las necesidades de movilidad. En concreto, los entornos virtuales (VEs, Virtual Environments) han incrementado de forma considerable su presencia en los últimos tiempos en el entorno educativo con el objetivo de reducir la distancia entre la gente, de forma virtual. Aunque resulta obvia su utilidad, su uso acarrea también algunas desventajas en el dominio del e-Learning.
De forma general, la pedagogía influencia el desarrollo de los sistemas pedagógicos que deben estar basados en el modelo del estudiante, así como en estrategias efectivas de enseñanza procedentes de las teorías del aprendizaje, logrando con ello unir el modelo del estudiante y el modelo del docente (tutor).
De este modo, la ayuda efectiva en la orientación requiere de una base teórica que de soporte al desarrollo de sistemas efectivos en el proceso de enseñanza aprendizaje. A este respecto, existen diferentes teorías que tratan de explicar el proceso de aprendizaje (sistema de Gagné, desarrollo cognitivo de Jean Piage, teorías de Vygotsky, teoría de Bruner, aprendizaje significativo de Ausubel, inteligencias múltiples de Gardner, teoría de Perkins, etc.), pero todas ellas pueden ser agrupadas en dos grandes variantes: la instruccional y el aprendizaje por descubrimiento. En la instruccional, el profesor se considera el centro del aprendizaje y es el responsable de la elaboración de todo el contenido, relegando al estudiante a “aprender” el conocimiento que le transmite el profesor. En contraposición, en el aprendizaje por descubrimiento el profesor adquiere el rol de “explorador”, proporcionando al alumno las herramientas necesarias para que sea él mismo el que vaya descubriendo el conocimiento.
Teniendo en cuenta las distintas teorías existentes, así como las diferentes necesidades que surgen a raíz de la utilización de nuevas herramientas tecnológicas de soporte a los distintos modelos educativos, la adquisición de conocimiento se ha interpretado como la interacción que existe entre nuevas experiencias y estructuras, con el fin de comprender el conocimiento disponible. Así, en la teoría constructivista el conocimiento se logra mediante un proceso activo consistente en la creación de hipótesis y nuevas formas de comprensión a través de la realización de actividades y práctica.
En la práctica educativa actual el uso de plataformas de e-Learning resulta un hecho habitual, contrastable a través de las numerosas soluciones existentes en escuelas e instituciones, así como el gran número de usuarios que utilizan dichas implementaciones. En cualquiera de estas situaciones, cualquier entorno virtual de aprendizaje (VLE, Virtual Learning Environment) debe poseer algún tipo de conocimiento individual acerca de los estudiantes y su proceso de aprendizaje, lo que habitualmente se conoce como módulo del estudiante (SM, Student Module). Este módulo debe ser actualizado dinámicamente para reflejar los distintos estados afectivos de cada alumno, su motivación y otros factores que condicionan el aprendizaje.
Habitualmente se asocia el trabajo en clase del alumno con situaciones donde la evaluación cobra un papel fundamental, superponiéndose a cualquier otro tipo de tarea. Sin embargo, resulta esencial entender que todos los momentos son importantes cuando lo que se persigue es el objetivo global del aprendizaje, tanto por parte del alumno como del profesor o tutor. Por lo tanto, resulta necesario tener en cuenta y valorar todos los momentos del aprendizaje y práctica en los cuales el alumno utiliza otro tipo de herramientas de apoyo para la realización de sus actividades (procesadores de texto, edición de imágenes, juegos educativos, etc.). Sin embargo, el problema radica en que este tipo de herramientas no disponen de interfaces adecuadas que permitan al profesor evaluar el comportamiento del alumno mientras las utiliza (estrés, fatiga, distracción, etc.) En la docencia tradicional, la relación entre profesores y alumnos resulta muy cercana. La disponibilidad del docente de modo continuo conlleva un sentimiento de proximidad, de acompañamiento, donde el alumno percibe que el profesor está siempre pendiente de él. Este hecho resulta de especial importancia para afianzar la motivación del estudiante, pero también los docentes se benefician de este acercamiento, puesto que les aporta información constante acerca del estado de sus alumnos y de sus preocupaciones, obteniendo feedback específico acerca de cada tema en concreto. Toda esta información del entorno, que la mayoría de las veces es analizada de forma inconsciente, permite al docente valorar de forma intuitiva a sus estudiantes y modificar sus metodologías y estrategias para conseguir mejorar el proceso de aprendizaje.
La falta de motivación de los estudiantes es uno de los problemas causados por factores intrínsecos y extrínsecos que afectan a los alumnos que interaccionan de muy diversas formas en el proceso global de enseñanza aprendizaje. En este sentido, el estrés, la atención y el rendimiento son factores que tienen influencia sobre el éxito de estudiante. Esta influencia puede ser positiva o negativa, pero únicamente se puede percibir su significado cuando se evalúa el logro de los objetivos por parte del alumno.
En la actualidad existen una gran variedad de dispositivos que nos ayudan en la realización de tareas en distintos entornos, como el laboral o el educativo. Estos dispositivos forman parte de nuestro día a día, como por ejemplo los teléfonos inteligentes, las tablets, los portátiles o incluso ciertos dispositivos industriales, resultando factible la adquisición de información acerca de la utilización que hacemos de ellos. Con base en esta interacción, y centrándonos en su utilización en el contexto educativo, es posible obtener datos acerca del uso de las plataformas de e-Learning con el fin de analizar los patrones de comportamiento de sus usuarios, resultando factible conocer los niveles de estrés, fatiga y atención de los alumnos. Con base en esta información, se pueden tomar decisiones concretas y establecer estrategias de intervención específicas que ayuden a mejorar los niveles de rendimiento deseado según el contexto de que se trate.
En este sentido, la extracción de conocimiento juega un papel importante porque permite la predicción de comportamientos futuros que pueden afectar el rendimiento de los estudiantes, y esto resulta esencial en un entorno donde la ausencia de contacto directo entre el docente y los alumnos es una realidad. Resulta por tanto posible realizar intervenciones de forma inmediata incluso cuando la presencia física no existe, superando una de las limitaciones clave que la tecnología aplicada a la educación ha padecido históricamente.
El objetivo particular de la presente investigación es la consecución de sistemas más eficientes que permitan analizar cada estudiante en términos de sus propias características, proponiendo y adaptando estrategias específicas para cada alumno, en cada momento, con la finalidad de minimizar el estrés, la falta de atención y las distracciones. El objetivo general consiste en proporcionar a los docentes información valiosa sobre el estado de sus estudiantes, posibilitando una mejor gestión de los alumnos y de las metodologías docentes aplicadas.
El objetivo del modelo desarrollado es presentar la forma en la que el alumno interacciona tanto con herramientas complementarias que utiliza durante el proceso formativo, como el uso que hace de las propias plataformas de e-Learning. Para ello, el modelo propuesto define tres niveles de abstracción que soportan los distintos tipos de datos que serán utilizados en los casos de estudio desarrollados en el marco de la presente investigación.
El primer nivel de abstracción del modelo se relaciona con la monitorización requerida en las herramientas software utilizadas, permitiendo la recolección de datos simples que son almacenados para su análisis posterior en función de la finalidad de cada herramienta. En este nivel se guardan los datos recogidos de la utilización del ratón y el teclado, que serán posteriormente clasificados con el resto de la información almacenada.
El segundo nivel de abstracción permite la interconexión entre los datos simples y la obtención de información existente en las plataformas de e-Learning. El análisis cruzado de datos tiene también el objetivo de extraer conclusiones para identificar posibles estrategias de acción.
Por último, el tercer nivel de abstracción se dedica al conocimiento, incluyendo todos los datos e información procedentes del registro histórico de calificaciones de los estudiantes, así como de su entorno socioeconómico.
Realizando un análisis global del modelo propuesto, se puede observar que existen tres niveles que permiten la obtención (e integración) de información claramente diferenciada, lo que resulta de utilidad para el análisis de la interacción de los usuarios con las diferentes herramientas soportadas.
Para la implementación del modelo propuesto la idea central es observar, de forma no invasiva, el comportamiento de los alumnos, mapeando ciertos comportamientos a estados específicos o cambios en dichos estados. El proceso de extracción de características comienza con la adquisición de los eventos de interacción, que se lleva a cabo mediante el desarrollo de una aplicación específica que se encuentra instalada en cada ordenador o teléfono inteligente. Esta aplicación se ejecuta en segundo plano y no requiere de interacción por parte del usuario, siendo capaz de extraer los datos de utilización del teclado (rapidez de uso) y el ratón (movimientos realizados).
Con el fin de probar la utilidad del modelo desarrollado, y verificar con ello el cumplimiento de la hipótesis de partida, se han diseño 4 casos de estudio diferentes, aunque complementarios. El objetivo principal es demostrar cómo una misma tecnología, que de algún modo aleja al docente de sus estudiantes, puede ser utilizada de nuevo para volver a establecer los lazos necesarios entre ambas partes. En concreto, esto se consigue proporcionando al docente información de contexto relevante acerca del estado de sus estudiantes, información que estaría disponible de forma natural si se encontrara en un ambiente de enseñanza tradicional.
De hecho, a través del uso de la información recopilada, el docente tiene la posibilidad de evaluar el rendimiento de cada estudiante de forma individual en tiempo real. Tomando como base este resultado, en un futuro será posible el desarrollo de nuevos sistemas de recomendación que puedan proporcionar al docente un nivel mayor de información, mejorando con ello todavía más su capacidad de toma de decisiones en relación a la gestión de sus estudiantes e intervenciones particulares a llevar a cabo.
Los cuatro casos de estudio planteados en este trabajo emplean el modelo propuesto en la presente investigación en distintas situaciones y con diferentes objetivos: (i) evaluación del rendimiento de los alumnos, (ii) identificación de estrés agudo durante pruebas de evaluación, (iii) medición continua de la fatiga durante periodos prolongados e (iv) integración de este tipo de datos con entornos virtuales de aprendizaje (en concreto, Moodle).
En el primer caso de estudio, se analiza el comportamiento de los alumnos en un entorno de e-Learning a través de uso del teclado y el ratón durante un período de tiempo grande, pero indeterminado. Se lleva a cabo un análisis continuo que no está vinculado con un período de tiempo determinado ni con la realización de una actividad específica. Se recogen los datos durante la realización de diversas tareas generales indicadas por el profesor, y se analiza el rendimiento de los alumnos durante todo el período. Los resultados obtenidos muestran una reducción en la interacción de los alumnos según va avanzando el día, por lo que este hecho debería ser tenido en cuenta por el docente para adaptar sus estrategias de aprendizaje.
En el segundo caso de estudio, se realiza una prueba con alumnos empleando dos escenarios diferentes. En el primer escenario, las tareas a realizar se llevan a cabo sin ningún tipo de restricción, mientras que en el segundo se plantea que la tarea formará parte de la evaluación de los alumnos, y que estos disponen de un tiempo limitado para su realización. El objetivo es evaluar la respuesta de los estudiantes en cada uno de los escenarios con el fin de establecer un patrón de comportamiento diferencial. A este respecto, los resultados obtenidos de la prueba realizada evidencian que, en situaciones de estrés, los estudiantes tienden a comportarse de forma más eficiente.
En el tercer caso de estudio, el objetivo fue realizar predicciones para identificar situaciones de fatiga de los alumnos basándose en el modelo desarrollado, mientras que el cuarto caso de estudio se centró en la recogida de diferente información que fue cruzada con el análisis de datos procedentes de la plataforma de e-Learning para la generación de nuevo conocimiento. En ambos casos, los resultados evidencian que el docente puede percibir mejor el rendimiento y las dificultades de la clase en su conjunto, y de cada alumno de forma individual.
Despertar el interés de los alumnos y mantenerlos motivados es quizás uno de los retos más difíciles, así como una de las tareas más comunes, encomendadas habitualmente a los docentes. El aumento del uso de la tecnología en las actividades relacionadas con el aprendizaje, con sus ventajas e inconvenientes, hace que aspectos muy distintos necesiten de una mayor consideración. Sin lugar a dudas, la tecnología es capaz de mejorar el aprendizaje posibilitando nuevas formas de enseñanza. Sin embargo, existen también algunos inconvenientes que es necesario reconocer y abordar. Mantener a los alumnos en la buena dirección, haciendo lo que se espera de ellos, con convicción y motivación, resulta un enorme reto cuando existe un mundo digital tremendamente atractivo en sus dispositivos móviles al alcance de su mano. Este exceso de estímulo, así como la posibilidad de cambiar fácilmente entre unos y otros, tienen efectos potenciales sobre la atención, el estrés y la fatiga mental. Los alumnos que se encuentran estresados o fatigados no consiguen el rendimiento necesario para las tareas que se les asignan. En este trabajo de investigación se presenta una alternativa no intrusiva capaz de monitorizar a los estudiantes en tiempo real y medir el efecto de distintos factores sobre su rendimiento.
El uso del teclado y del ratón para recopilar datos acerca de los usuarios representa una forma transparente de monitorización, que permite a los usuarios llevar a cabo el trabajo usando las herramientas oportunas de forma totalmente transparente. Por lo tanto, se garantiza que no existen interferencias externas que pudieran perturbar el análisis del comportamiento. La información recopilada se puede analizar de forma inmediata, presentando los resultados de los análisis al profesor para que sea éste el que adopte las estrategias oportunas en cada momento que permitan obtener el éxito del alumno.
Con la popularización de los sistemas de e-Learning, donde la presencia física no resulta necesaria, la distancia existente entre los alumnos y el profesor hace que el sistema sea más impersonal, lo que evidencia la necesidad de soluciones para tratar de cubrir esa carencia. La recopilación de información que permita la identificación de problemas en el aprendizaje por parte de los alumnos, hace posible la adopción de estrategias que palien de alguna manera las posibles dificultades que puedan surgir. En este trabajo se presenta un modelo no intrusivo capaz de monitorizar los efectos que la fatiga, el estrés y la atención prolongada tienen sobre el rendimiento de alumnos que hacen uso de plataformas de e-Learning. El profesor tiene la posibilidad de evaluar el rendimiento de los estudiantes de forma individual en tiempo real.
El objetivo último de esta investigación y las conclusiones obtenidas en el presente trabajo permitirán que el docente, o el sistema, tomen medidas preventivas para garantizar las áreas de confort de los alumnos en relación con los niveles de estrés, fatiga y atención, previniendo con ello los efectos negativos del estrés e incrementando el rendimiento en el contexto de la utilización de plataformas de e-Learning.
