El proceso de enseñanza aprendizaje apoyado en las tecnologías de la información: modelo para evaluar la calidad de los cursos b-learning en las universidades
- Autores: Gina Mejía Madrid
- Directores de la Tesis: Rafael Molina Carmona (dir. tes.)
- Lectura: En la Universitat d'Alacant / Universidad de Alicante ( España ) en 2019
- Idioma: español
- Tribunal Calificador de la Tesis: Angel Fidalgo Blanco (presid.) , Rosana Satorre Cuerda (secret.) , Alejandro Rabasa Dolado (voc.)
- Enlaces
- Tesis en acceso abierto en: RUA
- Resumen
EL PROCESO DE ENSEÑANZA APRENDIZAJE APOYADO EN LAS TECNOLOGÍAS DE LA INFORMACIÓN: MODELO PARA EVALUAR LA CALIDAD DE LOS CURSOS B-LEARNING EN LAS UNIVERSIDADES Resumen: Las universidades se encuentran desarrollando una gran cantidad de proyectos de aprendizaje basado en las Tecnologías de la Información y la Comunicación (TIC), principalmente cursos de e-learning (como se ha convenido en llamar al aprendizaje electrónico o a través de la tecnología), para apoyar a sus estudiantes dentro del proceso de enseñanza aprendizaje. Como cualquier proceso desarrollado en el entorno universitario, el e-learning debe estar sujeto a parámetros que nos permitan evaluar su calidad. Sin embargo, el e-learning tiene algunas características especiales que hacen que los sistemas de calidad habituales no respondan a todos sus requisitos. Aunque se han desarrollado diversas propuestas para evaluar la calidad del e-learning, muchas de ellas no son transferibles, están desestructuradas, son incompletas o no presentan una descripción formal.
La necesidad de velar por la calidad en los cursos viene también avalada por la normativa. En este caso, nos hemos fijado en las leyes del Ecuador, por ser el país sobre el que se ha desarrollado la parte aplicada de esta investigación. Por un lado, la Ley Orgánica de Educación Superior del Ecuador menciona que la evaluación de la calidad es un proceso para determinar las condiciones de una institución, carrera o programa académico. Por otro lado, la Normativa de Régimen Académico del Ecuador indica que la planificación, seguimiento y evaluación de la organización del aprendizaje deberá constar en el diseño curricular de las carreras y programas y en su correspondiente portafolio académico. Este diseño curricular será sometido a procesos de seguimiento y evaluación por parte de las instituciones de educación superior. Establece que la organización del aprendizaje consiste en la planificación del proceso formativo del estudiante, a través de actividades de aprendizaje: componente de docencia, componente de prácticas de aplicación y experimentación de los aprendizajes, y componente de aprendizaje autónomo, que garantizan los resultados pedagógicos correspondientes a los distintos niveles de formación y sus modalidades.
Basado en todas estas necesidades hemos establecido que el propósito general de esta tesis es proporcionar un modelo de evaluación de la calidad de cursos de b-learning que permita, de forma sencilla, integrada y práctica, conocer cuál es el estado del curso, sus puntos fuertes y sus debilidades, así como ayudar a la creación de planes de actuación o acción que permitan mejorar la calidad de los cursos a lo largo del tiempo. Hemos preferido el término b-learning (blended learning) por ser un aprendizaje combinado, en donde hay clases presenciales complementadas con el uso de diversas tecnologías y un sistema de gestión del aprendizaje.
La tesis doctoral se ha desarrollado siguiendo una metodología de investigación-acción, en 4 ciclos con sus diferentes resultados parciales. En el primer ciclo se obtuvieron dos resultados iniciales que hemos denominado Modelo 1 y Modelo 2, y que han dado lugar a dos publicaciones. En el segundo ciclo se abordó la elaboración de una revisión sistemática de la literatura sobre el tema de estudio. En el tercer ciclo, se obtuvo un modelo integral para evaluar la calidad de los cursos b-learning en las universidades, resultado de lo aprendido tras formular los modelos 1 y 2, y realizar la revisión sistemática de la literatura. Además, se creó una metodología para la definición de una cartera de proyectos estratégicos de mejora de los cursos de b-learning. Por último, en el cuarto ciclo se aplicó el modelo integral en dos casos de estudio y se definieron sendas carteras de proyectos estratégicos.
La principal aportación de la tesis es el modelo de evaluación de la calidad de los cursos de b-learning propuesto, basado en los principios de la calidad, y apoyado en diferentes marcos teóricos que permiten dotarlo de una estructura formal: la teoría de sistemas, la gestión de procesos y el principio de mejora continua. El modelo está formado por 3 componentes y 9 elementos obtenidos de la revisión sistemática de la literatura. El primer componente es el humano, que a su vez tiene 3 elementos: el estudiante, el docente y los gestores de la plataforma del sistema de gestión de aprendizaje. El segundo componente, el de los recursos, incluye recursos metodológicos (relacionados con el diseño instruccional como metodología pedagógica, que utiliza como base el modelo ADDIE), tecnológicos (la plataforma del sistema de gestión de aprendizaje) y la mesa de ayuda pedagógica (el soporte y servicio que brinda la institución educativa). El tercer componente, que hace referencia a la dinámica del proceso de enseñanza-aprendizaje, está formado por el proceso propiamente dicho, la retroalimentación y el resultado (evaluado según el modelo de Kirkpatrick). Cada uno de los 9 elementos incluye un número variable de atributos (38 en total) que se miden a través de un total de 99 indicadores. La segunda aportación es una representación gráfica de la situación de un curso b-learning basada en un mapa de calor. Esta representación, compacta y por niveles, nos permite conocer y valorar la situación de los cursos b-learning en las universidades. Se utiliza una escala de 5 valores para los diferentes niveles de madurez. De esta manera se homogenizan los indicadores, se hacen comparables y se facilita la creación de planes de mejora.
La tercera aportación es la definición de una metodología para la aplicación del modelo de evaluación de la calidad a un curso dado y la definición de una cartera de proyectos estratégicos para la mejora de los cursos. A grandes rasgos, esta metodología se desarrolla en 3 etapas (Diseño, Implementación, y Seguimiento y mejora), de las cuales nos hemos centrado en la etapa de diseño, desarrollada a su vez en 6 pasos: 1) Análisis del contexto, en el que se estudia el contexto internacional y nacional; 2) Aplicación del modelo para evaluar la calidad de los cursos b-learning; 3) Presentación de los resultados a través del mapa de calor; 4) Definición de la matriz de diagnóstico que incluye puntos fuertes, débiles, acciones de mejora y prioridades; 5) Definición de los proyectos y establecimiento de las relaciones entre los proyectos y las acciones de mejora que ya se han definido, a través de una matriz de relaciones; y 6) Alineamiento de los proyectos con los objetivos estratégicos institucionales.
El modelo ha sido validado por expertos, tras lo que se ha aplicado a dos casos prácticos en dos universidades del Ecuador. Los resultados de la evaluación en estos dos casos han establecido la línea base para transformarlos en un plan de acción que contiene una cartera de proyectos estratégicos para el mejoramiento de calidad de los cursos b-learning en la Universidad Central del Ecuador y en la Escuela Politécnica Nacional. Con la propuesta de este modelo se ofrece a los docentes una variedad de estrategias y oportunidades, para que puedan innovar en sus clases y mejorar la calidad de éstas. La aplicación del diseño instruccional, el diseño y desarrollo de recursos y actividades de aprendizaje contribuirán a la mejora de la calidad dentro del proceso de enseñanza aprendizaje universitario. Además, este modelo puede ser aplicado para evaluar o autoevaluar la calidad de los cursos b-learning en otras universidades respetando sus propias particularidades.
Introducción La educación a distancia tiene más de cien años y según (García-Aretio, 1999) está dividida en tres grandes generaciones de innovación tecnológica que identifica como correspondencia, telecomunicación y telemática. Esta última generación de telemática empieza a partir de los 80 con la enseñanza asistida por el ordenador y centrada en el estudiante.
Adicionalmente, se podría añadir una nueva generación con la llegada del internet, la evolución tecnológica, la web 2.0 y la disponibilidad de contenidos digitales. Es importante recalcar que en esta última generación las tecnologías de la información y la comunicación juegan un papel indispensable ya que mejoran los procesos de enseñanza aprendizaje con la implementación de entornos personales de aprendizaje, la comunicación sincrónica y asincrónica entre los alumnos y profesores, el uso de las bibliotecas virtuales y la variedad de recursos educativos en todas las formas. Con estos antecedentes, la Universidad es el centro de investigación e innovación de la sociedad del conocimiento y, en un futuro no muy lejano (se estima que en torno a 2030), todas las universidades desarrollarán algún tipo de educación virtual. Por otro lado, en el año 2006 durante el 60 aniversario de la Unesco se afirmaba que: “La enseñanza abierta y a distancia es uno de los ámbitos de la educación que se están desarrollando con mayor rapidez [...] Los gobiernos del mundo entero están promoviendo cada vez más el recurso de la enseñanza abierta y a distancia como complemento de las estructuras educativas tradicionales.” (REMAD, 2013).
En el año 2009 la Conferencia Mundial sobre la Educación Superior realizada en Paris (UNESCO, 2009) estableció que “el aprendizaje abierto y a distancia y el uso de las TIC ofrecen oportunidades de ampliar el acceso a la educación de calidad, en particular cuando los recursos educativos abiertos son compartidos fácilmente entre varios países y establecimientos de enseñanza superior. Las bases conceptuales y epistemológicas de la Educación a Distancia están acogidas en los estudios y documentos de la Cátedra de la UNESCO de Educación a Distancia, del International Council for Open Distance Education (ICDE), de la Asociación Iberoamericana de Educación Superior a Distancia (AIESAD), del Consorcio Interamericano de Educación a Distancia (CREAD), y del Proyecto Virtual Educa, adscrito a la Cumbre de Jefes de Estado Iberoamericanos.” (REMAD, 2013).
En este contexto de uso de las TIC para el aprendizaje aparece el término e-learning. Aunque los conceptos relacionados con la educación a distancia son mucho más antiguos como hemos visto, el término e-learning data de finales de los años ochenta, y se consolida durante los noventa (Moore, Dickson-Deane, & Galyen, 2011). Aunque no hay un consenso sobre la definición de e-learning, hemos escogido la de (Koper, 2008): “e-learning can be defined as the use of information and communication technologies (ICTs) to facilitate and enhance learning and teaching" (e-learning puede definirse como el uso de las tecnologías de la información y la comunicación (TIC) para facilitar y mejorar el aprendizaje y la enseñanza).
El término e-learning es relativamente nuevo y hace referencia a tecnologías emergentes que cambian a un ritmo vertiginoso y, por lo tanto, con un cuerpo disciplinario aún poco formalizado y generalizado. Sin embargo, como en cualquier otro proceso en el campo de la educación superior, el proceso de aprendizaje a través de la tecnología debe estar sujeto a una evaluación de garantía de calidad. Es importante señalar que el e-learning tiene características especiales que lo diferencian de los procesos tradicionales de enseñanza aprendizaje. Los dos aspectos más diferenciados son el uso de las TIC como herramienta de aprendizaje y el hecho de que no hay presencia física de los estudiantes en el campus. En cualquier caso, el sistema de e-learning debe garantizar que los alumnos que no son presenciales tengan las mismas oportunidades que los que asisten a la universidad.
¿Por qué b-learning? Cuando se habla del e-learning vienen a nuestra mente una serie de términos relacionados con el uso de las tecnologías de la información como apoyo para el aprendizaje: blended learning o b-learning (aprendizaje combinado), movile learning o m-learning (aprendizaje empleando dispositivos móviles), ubiquitous learning o u-learning (aprendizaje ubicuo), etc. En esta investigación hemos elegido el termino b-learning. A continuación, justificamos esta elección. El b-learning es el modo de aprender que combina la enseñanza presencial con la tecnología no presencial “which combines face to face and virtual teaching” (Pina, 2004). En un curso de blended learning o modelo hibrido, los métodos y recursos de la enseñanza presencial y a distancia se mezclan, mediante la combinación de medios de aprendizaje diseñados para resolver problemas específicos. El blended learning otorga más responsabilidad a los estudiantes en su estudio individual proporcionándoles destrezas para dichos estudios y permite mejorar la calidad de las clases mediante el uso de las tecnologías avanzadas. El b-learning trata de mejorar la calidad; además, es una opción para introducir las tecnologías de la información entre un cuerpo docente reacio. El b-learning tiene beneficios pues propicia los procesos de innovación y mejora de calidad docente (Pina, 2004).
En definitiva, el b-learning es todo lo que se encuentra en el medio dentro de una línea continua en el espacio del aprendizaje donde sus extremos son: uno, las clases impartidas sin ninguna ayuda tecnológica; y el otro extremo son las clases totalmente desarrolladas a través de herramientas tecnológicas.
Se ha decidido utilizar el término b-learning porque en nuestro modelo se mezcla la enseñanza presencial con la virtual. Vamos a analizar dentro de las clases presenciales universitarias cómo la tecnología, a través de la ayuda estratégica de las plataformas del sistema de gestión de aprendizaje y de los recursos y actividades de aprendizaje, mejora la calidad del proceso enseñanza aprendizaje. Definición de calidad El concepto de calidad en la educación en una universidad, en una carrera o programa docente, o en un curso o asignatura, es difícil de definir. No es posible encontrar un consenso sobre este concepto, cuya definición varía mucho ya que la calidad tiene diferentes perspectivas. En este apartado, vamos a mencionar algunos aportes.
Puesto que la investigación se desarrolla en el ámbito de universidades del Ecuador, conviene empezar tratando el tema desde el punto de vista legal de este país. En el artículo 94 de la Ley Orgánica de Educación Superior (Asamblea Nacional, 2010) del Ecuador se manifiesta que la “Evaluación de la Calidad, es un proceso para determinar las condiciones de la institución, carrera o programa académico, mediante la recopilación sistemática de datos cuantitativos y cualitativos que permitan emitir un juicio o diagnóstico, analizando sus componentes, funciones y procesos a fin de que sus resultados sirvan para reformar y mejorar el programa de estudios”. Además, la “Evaluación de la Calidad es un proceso permanente y supone un seguimiento continuo”.
Por otro lado, y centrados ya en la calidad de la educación apoyada por la tecnología, (Vagarinho & Llamas-Nistal, 2012) en su artículo “Quality in e-learning processes: State of art”, establecen que la calidad del e-learning se entiende como el cumplimiento adecuado de los objetivos y necesidades de las personas involucradas, como resultado de un proceso de negociación transparente y participativo dentro de un marco organizacional. Además, en el campo del e-learning, la calidad se relaciona con procesos, productos y servicios para el aprendizaje, la educación y la capacitación, respaldados por el uso de las tecnologías de la información y la comunicación.
En el artículo “An application of the performance-evaluation model for e-learning quality in higher education” (Martínez-Caro, Cegarra-Navarro, & Cepeda-Carrión, 2015) se dan algunas claves de cuáles son los principales factores que afectan a la calidad: la calidad del e-learning depende en gran medida de cómo se diseña y se gestiona el entorno de aprendizaje, especialmente en términos de interacción. La interacción entre compañeros, la evaluación y la cooperación, y las interacciones estudiante-docente contribuyen a establecer un entorno que alienta a los alumnos a comprender mejor el contenido. Estas definiciones constituyen el punto de partida de la investigación.
Motivación El concepto de calidad de la educación, y más en un curso b-learning (aprendizaje combinado), tiene características propias que hacen que sea necesario diseñar modelos propios. Aunque hay trabajos previos que ya han propuesto modelos para ello (se han identificado gracias a una revisión sistemática de la literatura) no se ha encontrado ninguno que cumpla con todos los objetivos.
De forma más concreta, la investigación que presentamos viene motivada por las siguientes razones: • No se han encontrado modelos integrales para evaluar la calidad de los cursos b-learning en las universidades que se encuentren completos. En los estudios encontrados no hay soluciones que puedan considerarse completamente satisfactorias en este tema.
• A pesar de que la formalización del problema y su solución aún no son satisfactorias, es un tema que despierta el interés de los investigadores, como podrá constatarse en la revisión de la literatura. Además, para toda la sociedad resulta de interés puesto que la educación en general es el futuro, y cada vez más las TIC forman parte no solo de los sistemas de aprendizaje digitales sino también de la educación presencial.
• Es fundamental que haya evidencia del trabajo de los docentes, es decir, que exista una memoria de nuestros excelentes maestros, quienes fueron, quienes son y quienes serán, a través de un portafolio académico. Asimismo, es indispensable que haya un portafolio estudiantil que evidencie su proceso de aprendizaje y los logros alcanzados en cada asignatura. La recogida de evidencias deberá formar parte ineludible de la evaluación de la calidad de los cursos.
• Es de vital importancia que los docentes estemos constantemente innovando y mejorando, para de esta manera llegar a más estudiantes con diferentes estilos de aprendizaje. Para ello las asignaturas deben velar por su calidad buscando el aprendizaje significativo y la mejora constante de la sociedad. Las motivaciones personales en esta investigación son: • Me apasiona la educación y siempre busco mecanismos para mejorarla.
• Al ser una docente universitaria, mi anhelo es que mis alumnos aprendan y apliquen los conocimientos adquiridos en mis asignaturas.
• Deseo mejorar el proceso de enseñanza aprendizaje a través del uso eficiente de la tecnología de la información y comunicación.
• Mi interés es que mis cursos sean de calidad y que mi experiencia pueda contribuir a mejorar los cursos de otros docentes. • Por último, deseo transformar la educación creando un modelo de evaluación de la calidad de los cursos b-learning para que todos los docentes puedan utilizar, mejorar y asegurar sus cursos en cada periodo académico y puedan realizar una retroalimentación, seguimiento y mejora continua.
Hipótesis y preguntas de investigación La hipótesis que queremos demostrar con este trabajo de investigación es: Es posible evaluar la calidad de un curso de b-learning en el contexto de la educación superior, a través de un modelo integral, basado en evidencias, medible, que incorpore todos los elementos que intervienen en el proceso de enseñanza-aprendizaje basado en tecnología, y que facilite la mejora continua.
Para demostrar esta hipótesis, responderemos, a lo largo de la tesis, a las siguientes preguntas de investigación: 1. ¿Qué es calidad en el contexto de la educación superior en general y del e-learning en particular, y qué parámetros se utilizan para medirla? 2. ¿Cuáles son las normativas, leyes y regulaciones que afectan a la evaluación de la calidad del e-learning, y qué antecedentes existen sobre este tema? 3. ¿Cuáles son los principales elementos que considerar en la evaluación de la calidad del e-learning? 4. ¿Qué atributos tienen esos elementos y que nos permiten caracterizarlos? 5. ¿Qué indicadores nos permiten medir los atributos y la calidad de los elementos a los que caracterizan? 6. ¿Cómo se pueden integrar todos los indicadores para mostrar la información de manera compacta y comparable? 7. ¿Qué acciones de mejora se pueden aplicar a un curso que ha sido evaluado? Todo ello, se completará con la validación del modelo obtenido a través del estudio de dos casos prácticos de universidades del Ecuador.
Estructura de la tesis El documento se estructura en 7 capítulos, cada uno dedicado a cumplir alguno de los objetivos que iremos planteando a lo largo del documento.
Los objetivos establecidos en la presente investigación están definidos por: 1. Establecer las definiciones acerca de la calidad de los cursos b-learning, las motivaciones, hipótesis y preguntas de investigación – Capítulo 1.
2. Proponer una metodología para el diseño de la investigación – Capítulo 2.
3. Establecer una aproximación al modelo para evaluar la calidad de los cursos b-learning – Capítulo 3.
4. Conocer el estado del arte de la investigación mediante una revisión sistemática de la literatura – Capitulo 4.
5. Proponer un modelo para evaluar la calidad de los cursos b-learning en las universidades, compuesto por tres componentes: humano, metodológico y tecnológico, y procesos y resultados. Cada componente tiene atributos y cada atributo está clasificado en indicadores – Capítulo 5.
6. Proponer una representación gráfica a través de mapas de calor que muestre los resultados del modelo para evaluar la calidad de los cursos b-learning – Capitulo 5.
7. Definir una metodología para la creación de una cartera de proyectos estratégicos para la mejora de los cursos b-learning – Capítulo 5.
8. Aplicar el modelo para evaluar la calidad de los cursos b-learning a dos casos prácticos – Capítulo 6.
9. Proponer acciones de mejora, mediante la aplicación de la metodología para la creación de una cartera de proyectos estratégicos para la mejora de los cursos b-learning – Capitulo 6.
10. Establecer las conclusiones, respuestas a las preguntas de investigación, difusiones científicas y trabajos futuros – Capítulo 7.
Marco teórico Para el desarrollo teórico se efectuó un estudio detallado de la bibliografía existente y conocer el estado actual de la investigación en evaluación de calidad de los cursos e-learning. Con este fin, proponemos seguir una metodología sistemática de revisión de la literatura (SLR, del inglés Systematic Literature Review).
Este tipo de metodología consiste en efectuar revisiones sistemáticas en diferentes bases de datos científicas, repositorios y bibliotecas digitales, etc., con el fin de encontrar las publicaciones más relevantes sobre el tema planteado. Los modelos de evaluación presentados en el capítulo anterior supusieron una toma de contacto con la investigación en el campo de la calidad del e-learning y el b-learning. Como consecuencia de este trabajo se detectaron algunas carencias que nos llevaron a plantear un estudio más profundo de la literatura, que presentamos en este capítulo.
Como punto de partida nos hemos planteado seis preguntas de investigación para las cuales buscamos respuestas en esta revisión a partir de un protocolo de búsqueda bien definido. Después de realizar la búsqueda, hemos aplicado varios filtros que nos han permitido llegar a una cantidad manejable de documentos.
Hemos llevado a cabo un análisis en profundidad de los artículos seleccionados que nos han llevado a concluir que hay cinco aspectos de calidad que enfocan la investigación en este campo: tecnología, diseño instruccional, recursos de aprendizaje, capacitación y servicios y soporte. Sin embargo, no existe un único esquema integral de evaluación de calidad que contenga las cinco áreas y defina verdaderos indicadores, significativos y mensurables.
El objetivo final de nuestra investigación es evaluar la calidad del e-learning en las universidades, desde un punto de vista integral y aplicado. Algunas búsquedas informales previas nos permiten intuir que algunos aspectos de la calidad del e-learning se han explorado mucho (los aspectos de infraestructura) y otros mucho menos (los aspectos relacionados con el diseño instruccional del curso en formato e-learning). En este capítulo pretendemos llevar a cabo una búsqueda y revisión formal y sistemática de la literatura relacionada con la evaluación de la calidad del aprendizaje electrónico, centrándonos en modelos mensurables y que provienen del campo de la educación superior. De esta forma podremos saber qué aspectos y áreas relacionadas con la calidad del e-learning y su evaluación han sido abordados por los diferentes autores.
Para llevar a cabo esta revisión, hemos seguido una metodología basada en la Revisión Sistemática de la Literatura (SLR), con algunas adaptaciones a nuestro caso específico. Las revisiones sistemáticas de literatura son un medio para identificar, evaluar e interpretar todas las investigaciones disponibles sobre un tema y responder algunas preguntas de investigación planteadas. Una de las motivaciones más importantes de esta SLR es obtener nuevos hallazgos, descubrir qué aspectos del campo de investigación aún deben explorarse y proponer ideas innovadoras para nuestra investigación futura (Kitchenham & Charters, 2007).
Para realizar esta SLR, hemos adaptado la metodología propuesta por Kitchenham y Charters (Kitchenham & Charters, 2007). Nuestro método de revisión consiste en 3 etapas principales (planificación, realización y análisis), divididas en ocho pasos.
Durante la etapa de planificación, se diseña la hoja de ruta de la revisión y se planifican las siguientes etapas. Antes de emprender la SLR, es necesario justificar la necesidad de una revisión en el campo de la calidad del e-learning en la educación superior, definir las preguntas de investigación sobre este tema, así como determinar y evaluar un protocolo de revisión apropiado.
La segunda etapa es la realización de la revisión siguiendo el protocolo definido. Se realizan dos pasos principales: la búsqueda en sí misma, al obtener los estudios de las bases de datos determinadas en el protocolo, y la selección del conjunto final de publicaciones o artículos. Posteriormente estos conjuntos de publicaciones o artículos serán analizados aplicando algunos filtros de selección.
Finalmente, la etapa de análisis permitirá un conocimiento profundo sobre el campo de la investigación. Proponemos tres pasos: un análisis cuantitativo y cualitativo de los resultados de la búsqueda, el estudio de la contribución principal de cada publicación seleccionada y una discusión final para identificar lagunas en la investigación y posibles investigaciones futuras.
En la metodología propuesta por Kitchenham y Charters (Kitchenham & Charters, 2007), las etapas de conducción y análisis de la revisión conforman una sola etapa. Sin embargo, hemos preferido dividirlos en dos etapas, ya que la primera está relacionada con la búsqueda y el filtrado; y, la segunda está dedicada al análisis de los artículos ya seleccionados. Además, el último paso es la elaboración del informe con los resultados de la SLR.
Aunque las etapas en el diagrama se muestran secuencialmente, en realidad se desarrollan de forma iterativa. Algunas actividades se iniciaron durante la planificación, luego se reanudaron durante la etapa de desarrollo y finalmente se refinaron nuevamente.
La etapa de planificación proporciona la base para futuras investigaciones. Es esencial definir correctamente las preguntas a responder y el procedimiento o protocolo a seguir. De esta manera, la búsqueda se sistematiza y el riesgo de incorporar sesgos no deseados en el proceso, como señalan Kitchenham y Charters (Kitchenham & Charters, 2007), se disminuirá en gran medida.
Aunque existe abundante literatura sobre e-learning en general y sobre la calidad del e-learning en particular, no se ha encontrado ninguna revisión o mapeo de la literatura que cumpla con los criterios de centrarse en la calidad medible del e-learning para las universidades y sea sistemática. Por ejemplo, la revisión de Lain y Aston (Lain & Aston, 2004) se centra en el e-learning en el lugar de trabajo. Cubre la prevalencia, la demanda, la efectividad y el impacto del aprendizaje electrónico, pero se centra en el aprendizaje electrónico en las empresas y no se hace referencia al contexto o la calidad de la educación.
Otro ejemplo, es el trabajo de Katoua et al. (Katoua, AL-Lozi, & Alrowwad, 2016). Es un estudio profundo que revisa críticamente la literatura relacionada con los sistemas de e-learning en la educación superior. Identifica los orígenes, características, limitaciones, debilidades y fortalezas de los sistemas de e-learning, pero no sigue una metodología sistemática y no se menciona explícitamente la calidad y su evaluación. La revisión de Jara (Jara, 2010) trata sobre la garantía de la calidad del e-learning en las instituciones de educación superior, desde cuatro puntos de vista: las estrategias implementadas por universidades abiertas y distantes, estándares y pautas de calidad, sistemas de acreditación y benchmarking. Desafortunadamente, no se consideran preguntas de investigación ni criterios de inclusión y exclusión, ya que no se trata de una revisión sistemática. El trabajo de Freire et al. (Freire, Arezes, & Campos, 2012) adolece del mismo problema: aborda un aspecto específico de la calidad del e-learning (métodos, modelos y marcos para evaluar los Sistemas de Gestión del Aprendizaje desde el punto de vista de la Ergonomía de la Información, así como criterios de usabilidad y heurística utilizados), pero el estudio no se realiza utilizando una metodología sistemática.
En conclusión, hay mucha investigación sobre evaluación de calidad de e-learning, pero no hay una revisión formal y estructurada sobre los avances en este campo y no hay datos que permitan un mapeo sistemático de la investigación de la disciplina. Esta SLR surge de la necesidad de resumir cuidadosa y formalmente toda la información relevante sobre cómo evaluar la calidad del e-learning dentro de las universidades. Como consecuencia, el estudio de la literatura detectará carencias en este campo del conocimiento y sugerirá nuevas áreas de investigación.
En la SLR, las preguntas de investigación impulsan toda la metodología de revisión. Son preguntas específicas que buscan desarrollar el objetivo declarado. En nuestro caso, el objetivo es determinar qué aspectos y áreas relacionadas con la calidad del e-learning y su evaluación han sido abordados por los diferentes autores y cómo se incluye el diseño instruccional en los modelos de evaluación de la calidad. Las preguntas que proponemos son: PI_1: ¿Qué áreas y/o aspectos de la calidad del aprendizaje electrónico se han estudiado? PI_2: ¿Qué métodos de investigación se utilizaron en esta investigación? PI_3: ¿Cuál es la naturaleza de los resultados de la investigación que se han obtenido? PI_4: ¿Qué tipo de objetivos persiguió la investigación? PI_5: ¿En qué modelos de diseño instruccional se enfoca la investigación? PI_6: ¿En qué modelos de calidad establecidos se enfoca la investigación? La pregunta PI_1 se usa para identificar las áreas y aspectos de la evaluación de calidad de e-learning, la primera parte del objetivo. Las preguntas PI_2, PI_3 y PI_4 persiguen la caracterización de la publicación al determinar sus métodos, objetivos y resultados. La pregunta PI_5 se enfoca específicamente en el diseño instruccional, la segunda parte del objetivo de esta SLR. Finalmente, PI_6 se usa para determinar si los modelos de calidad establecidos están muy extendidos en el campo de la evaluación de calidad de e-learning.
Conclusiones En este apartado vamos a desarrollar las principales conclusiones que se derivan de la tesis con respecto a los principales conceptos que se han ido presentando.
Con respecto a la metodología, se ha utilizado el método de investigación acción y se ha complementado con la gestión de proyectos. Se puede concluir que la investigación acción es una metodología adecuada y se puede adaptar a nuestro problema de investigación utilizando la gestión de proyectos. La investigación se ha desarrollado en cuatro grandes ciclos o proyectos: aproximación al modelo, revisión sistemática de la literatura, modelo integral para evaluar los cursos b-learning y evaluación del modelo. Cada uno de ciclos está desarrollado de forma secuencial; además, las salidas de un proyecto son las entradas del siguiente proyecto. Cada proyecto tiene asignado sus recursos, actividades, tiempos y contemplan las cuatro fases de la investigación acción.
En el primer ciclo de la investigación se propusieron dos modelos iniciales previos, que hemos denominado Modelo 1 y Modelo 2. El Modelo 1 está basado en la adaptación de los Criterios y Directrices para el Aseguramiento de la Calidad en el Espacio Europeo de Educación Superior (European Association for Quality Assurance in Higher Education European Students, 2015) cuyo planteamiento está reflejado en tres matrices: Matriz de enseñanza con el apoyo de recursos didácticos tecnológicos; Matriz de aprendizaje con el apoyo de recursos didácticos tecnológicos; Matriz del proceso de enseñanza aprendizaje apoyado por las TAC. El Modelo 2 se diseñó tomando en cuenta algunos aspectos importantes del Modelo 1 incorporando otras áreas adicionales, que se vieron indispensables cuando se volvió a revisar el estado del arte. El Modelo 2 consiste en un triángulo básico: la tecnología para el aprendizaje y conocimiento (ya detectado en el Modelo 1), los procesos de enseñanza aprendizaje mejorados con tecnología de la información y comunicación, y los procesos estratégicos institucionales, con el estudiante y su aprendizaje como centro del modelo. Estos modelos nos ayudaron a conocer bien el problema y a detectar las carencias de estos planteamientos iniciales. Como consecuencia, se hizo imprescindible realizar una revisión de la literatura exhaustiva. Para realizar la revisión de la literatura se optó por una metodología de búsqueda sistemática, que nos ha permitido detectar qué avances principales se han realizado y qué temas están abiertos a estudio. La investigación sobre la calidad de los cursos de b-learning en las universidades parece enfocarse en cinco aspectos (tecnología, diseño instruccional, recursos de aprendizaje, capacitación y servicios y soporte). Sin embargo, no existe un consenso sobre las características que hacen que un curso de b-learning sea de calidad. Además, como consecuencia de esta investigación no se ha encontrado un único esquema integral de calidad que contenga las cinco áreas y defina indicadores verdaderos, significativos y mensurables.
Hay algunos aspectos transversales que un sistema de evaluación de buena calidad debería considerar. Hablamos de la comunicación, la personalización de acuerdo con el estilo de aprendizaje, la innovación docente, el emprendimiento, la vinculación con la sociedad y la colaboración, entre otros.
Es importante mencionar que la revisión sistemática de la literatura -SLR- nos ha permitido determinar cómo será el modelo que vamos a plantear. Es decir, el modelo preliminar (Modelo 1+ Modelo 2) + SLR = Modelo integral para evaluar la calidad de los cursos b-learning en las Universidades. El modelo integral consta de una parte estática y una parte dinámica y está formado por 3 componentes: Componente humana (estudiantes, docentes y gestores de la plataforma), Metodología y tecnología (diseño instruccional, plataforma del sistema de gestión del aprendizaje y la mesa de ayuda pedagógica) y Proceso y resultados (el proceso propiamente dicho, los resultados y la retroalimentación, que constituyen la parte dinámica. Estos representan 9 elementos que contienen 30 atributos y 96 indicadores. Cada indicador está medido en niveles de madurez y representan el nivel de calidad del atributo. La representación gráfica está dada por los tres grandes componentes: El primero, talento humano (color rojo) estudiantes, docentes y gestores de la plataforma del sistema de gestión de aprendizaje. El segundo, los recursos metodológicos y tecnológicos (color verde); y, finalmente, el tercer componente es la dinámica propiamente del proceso (color azul), el resultado y la retroalimentación que surge de la interacción entre los diferentes elementos. El plan de acción o estratégico esta divido en 2 partes: el primero, en un diagnóstico o identificación de la línea base (puntos fuertes y débiles), acciones de mejora y la prioridad de ejecución del proyecto; segundo, es la planificación en la temporalidad de 5 años con sus recursos y responsables.
Por último, el modelo integral para evaluar la calidad de los curos b-learning se aplicó en dos casos de estudio. El primero, en la Universidad Central del Ecuador; y, el segundo en la Escuela Politécnica Nacional obteniendo resultados que contribuirán al proceso de enseñanza aprendizaje. En particular, se han propuesto sendos planes de acción, priorizados y distribuidos temporalmente que podrán ayudar a las instituciones estudiadas a mejorar la calidad de sus cursos de b-learning.
Además de estas conclusiones resultado de la investigación, se resaltan un conjunto de conclusiones personales: • Se ha desarrollado el espíritu de investigación y amor por la calidad y mejora continua de la misma en la educación combinada con la tecnología de la información.
• Se han mejorado las habilidades de escritura y redacción de artículos de investigación científica.
• Se ha experimentado un verdadero crecimiento personal en el ámbito de la investigación en b-learning.
Bibliografía Aissaoui, K., & Azizi, M. (2016). Improvement of the quality of development process of E-learning and M-learning systems. International Journal of Applied Engineering Research, 11(4), 2474–2477.
Alkhalaf, S., Nguyen, A. T. A., Drew, S., & Jones, V. (2013). Measuring the Information Quality of e-Learning Systems in KSA: Attitudes and Perceptions of Learners. In J.-H. Kim, E. T. Matson, H. Myung, & P. Xu (Eds.), Robot Intelligence Technology and Applications 2012 (Vol. 208, pp. 787–791). Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-642-37374-9_75 Arora, R., & Chhabra, I. (2014). Extracting components and factors for quality evaluation of e-learning applications. In 2014 Recent Advances in Engineering and Computational Sciences, RAECS 2014. http://doi.org/10.1109/RAECS.2014.6799553 Asamblea Constituyente. (2008). Constitución de la República del Ecuador. Retrieved https://www.asambleanacional.gov.ec/documentos/constitucion_de_bolsillo.pdf Asamblea Nacional. (2010). Ley Orgánica de Educación Superior del Ecuador, Registro Oficial - Ógano del Gobierno del Ecuador 40 Pages. Quito, Ecuador.
Aymerich, M. (2015). Retos y tensiones de la virtualización de la Educación. Quito, Ecuador. Retrieved from http://www.ces.gob.ec/doc/cecilia-jornada/martaaymerich-uoc-quito.pdf Bausela, E. (1984). La Docencia a Través De La Investigación–Acción. Revista Iberoamericana de Educación, 1–10. Retrieved from http://sirius.une.edu.ve/une/blogs/serviciocomunitario/wp-content/uploads/2012/05/La-docencia-a-traves-de-la-investigacion-accion1.pdf BID. (2017). Curso Formación de Tutores en Línea. Edición 12. Banco Interamericano de Desarrollo. Retrieved from https://indesvirtual.iadb.org/enrol/index.php?id=1368 Cadena-Vela, S., Ortiz-Herrera, J., Torres, G., Mejía-Madrid, G. (2018). Innovation in the university: virtual educational platform. In F. J. García-Peñalvo (Ed.), Procededings of the Sixth International Conference on Technological Ecosystem for Enhancing Multiculturality. Salamanca, Spain.
Camacho Condo, A. (2013). Modelo de acreditación de accesibilidad en la educación virtual. (Deliverable No. E3.2.1). European Union - Project ESVI-AL.
Casanova, D., Moreira, A., & Costa, N. (2011). Technology Enhanced Learning in Higher Education: results from the design of a quality evaluation framework. Procedia - Social and Behavioral Sciences, 29(Supplement C), 893–902. http://doi.org/10.1016/j.sbspro.2011.11.319 Chatterjee, C. (2016). Measurement of e-learning quality. In Proceedings of 3rd {ICACCS} 2016 (pp. 1–4). Coimbatore, India: IEEE. http://doi.org/10.1109/ICACCS.2016.7586393 Consejo de Educación Superior. (2015). Reglamento para carreras y programas académicos en modalidades en linea, a distancia y semipresencial o de convergencia de medios, Pub. L. No. RPC-SE-14-No 043-2015. Ecuador.
Consejo de Educación Superior. (2016). Reglamento de Régimen Académico, Pub. L. No. RPC-SE-13-No.051-2013. Quito, Ecuador.
Consejo de Evaluación Acreditación y Aseguramiento de la calidad de la Educación Superior, C. (2013). Modelo genérico de evaluación del entorno de aprendizaje de carreras presenciales y semipresenciales de las universidades y escuelas politécnicas del Ecuador. Quito, Ecuador.
Consejo de Evaluación Acreditación y Aseguramiento de la Calidad de la Educación Superior, C. (2015). Modelo genérico de evaluación del entorno de aprendizaje de carreras presenciales y semipresenciales de las universidades y escuelas politécnicas del ecuador (versión matricial). Quito, Ecuador. Retrieved from http://evaluacion.espoch.edu.ec/joomla/images/stories/2-modelo-generico-carreras-marzo-2015.pdf D’Mello, D. A., Achar, R., & Shruthi, M. (2012). A Quality of Service (QoS) model and learner centric selection mechanism for e-learning Web resources and services. In 2012 World Congress on Information and Communication Technologies (pp. 179–184). http://doi.org/10.1109/WICT.2012.6409071 Elliott, J. (1991). Action research for educational change. Milton Keynes [England] ; Philadelphia: Open University Press.
Escuela Politécnica Nacional. (2016). Plan Estratégido de Desarrollo Institucional. Retrieved from https://www.epn.edu.ec/institucion/plan-estrategico-institucional-2014-2/ Estay, C., & Pastor, J. (2001). Un Modelo de Madurez para Investigación-Acción en Sistemas de Información. VI Jornadas de Ingeniería Del Software y Bases de Datos (JISBD’2001), 265–281.
European Association for Quality Assurance in Higher Education European Students, E. (2015). Criterios y directrices para el aseguramiento de Calidad en el Espacio Europeo de Educación Superior (ESG). Erevan. Retrieved from https://enqa.eu/indirme/esg/ESG in Spanish_by ANECA.pdf Freire, L. L., Arezes, P. M., & Campos, C. J. (2012). A literature review about usability evaluation methods for e-learning platforms. Work, (Supplement 1), 1038–1044. http://doi.org/10.3233/WOR-2012-0281-1038 Friesenbichler, M. (2011). E-learning as an enabler for quality in higher education. In 2011 14th International Conference on Interactive Collaborative Learning (pp. 652–655). http://doi.org/10.1109/ICL.2011.6059666 Frydenberg, J. (2002). Quality Standards in eLearning: A matrix of analysis. The International Review of Research in Open and Distributed Learning, 3(2).
García-Aretio, L. (1999). Historia de la Educación a Distancia (History of Distance Education), RIED. Revista Iberoamericana de Educación a Distancia, 2(1). Retrieved from revistas.uned.es/index.php/ried/article/view/2084/1959 Genero Bocco, M. F., Cruz-Lemus, J. A., & Piattini Velthuis, M. G. (2014). Métodos de Investigación en Ingeniería del Software. RA-MA Editorial.
Grigoraş, G., Dănciulescu, D., & Sitnikov, C. (2014). Assessment Criteria of E-learning Environments Quality. Procedia Economics and Finance, 16(Supplement C), 40–46. http://doi.org/10.1016/S2212-5671(14)00772-2 Hoffmann, M. H. W., & Bonnaud, O. (2012). Quality management for e-learning: Why must it be different from industrial and commercial quality management? In 2012 International Conference on Information Technology Based Higher Education and Training (ITHET) (pp. 1–7). http://doi.org/10.1109/ITHET.2012.6246052 ISO. (2015). ISO 9001:2015(es) - Sistemas de gestión de la calidad (Norma). International Organization for Standardization. Retrieved from https://www.iso.org/obp/ui/#iso:std:iso:9001:ed-5:v1:es Jara, M. (2010). Quality assurance of e-learning: a review of approaches and practices in Higher Education. Sofia University E-Learning Journal, 1/2010.
Katoua, T., AL-Lozi, M., & Alrowwad, A. (2016). A Review of Literature on E-Learning Systems in Higher Education. International Journal of Business Management and Economic Research, 7, 754–762.
Kemmis, S., McTaggart, R., & Nixon, R. (2014). The Action Research Planner. Singapore: Springer Singapore. https://doi.org/10.1007/978-981-4560-67-2 Kitchenham, B., & Charters, S. (2007). Guidelines for performing Systematic Literature Reviews in software engineering (Technical Report No. EBSE-2007-01). Keele University-University of Durham.
Kitchenham, B. A., & Pfleeger, S. L. (2010). Personal Opinion Surveys. In F. Shull, J. Singer, & D. I. K. Sjøberg (Eds.), Guide to advanced empirical software engineering (Chapter 3). London: Springer.
Koper, R. (2008). Open Source and Open Standards. In J. M. Spector (Ed.), Handbook of research on educational communications and technology (3rd ed, Chapter 31). New York: Lawrence Erlbaum Associates.
Lain, D., & Aston, J. (2004). Literature Review of Evidence on e-Learning in the Workplace. Institute for Employment Studies, Brighton.
Latorre-Beltrán, A. (2010). La investigación-acción: conocer y cambiar la práctica educativa (1. ed., 10. reimpr). Barcelona: Graó.
Lim, K. C. (2010). Quality and Effectiveness of eLearning Courses – Some Experiences from Singapore. Special Issue of the International Journal of the Computer, the Internet and Management, 18(SP1), 11.1-11.6.
Marković, S., & Jovanović, N. (2012). Learning style as a factor which affects the quality of e-learning. Artificial Intelligence Review, 38(4), 303–312. http://doi.org/10.1007/s10462-011-9253-7 Martín Núñez, J. L. (2016). Aportes para la evaluación y mejora de la calidad en la enseñanza universitaria basada en e-learning (PhD. Thesis). Universidad de Alcalá, Alcalá de Henares, Spain.
Martínez-Caro, E., Cegarra-Navarro, J. G., & Cepeda-Carrión, G. (2015). An application of the performance-evaluation model for e-learning quality in higher education. Total Quality Management & Business Excellence, 26(5–6), 632–647. http://doi.org/10.1080/14783363.2013.867607 Mejia-Madrid, G., Meza-Bolaños, D., Valverde-Alulema, F., Molina-Carmona, R., Llorens-Largo, F., Compañ-Rosique, P., & Satorre-Cuerda, R. (2016). Methodology to design an academic portfolio. In ICERI2016 Proceedings (pp. 5674–5679). Seville, Spain: IATED. https://doi.org/10.21125/iceri.2016.0275 Mejía-Madrid, G. & Molina-Carmona, R. (2016a). Evaluación de las Tecnologías para el Aprendizaje y el Conocimiento en el proceso de enseñanza aprendizaje en la Universidad Central del Ecuador. In R. Roig-Vila (Ed.), Tecnología, innovación e investigación en los procesos de enseñanza-aprendizaje (pp. 2154–2164). Alicante, España: Octaedro, S.L. Retrieved from https://rua.ua.es/dspace/bitstream/10045/61852/1/2016_Buenao_Lujan_Tecnologia-innovacion.pdf Mejía-Madrid, G., & Molina-Carmona, R. (2016b). Model for Quality Evaluation and Improvement of Distance Higher Education based on Information Technology. In F. J. García-Peñalvo (Ed.), Procededings of the Fourth International Conference on Technological Ecosystem for Enhancing Multiculturality (pp. 1171–1177). Salamanca, Spain. http://doi.org/10.1145/3012430.3012665 Mejía-Madrid, G., & Molina-Carmona, R. (2016c). Evaluación de las Tecnologías para el Aprendizaje y el Conocimiento en el proceso de enseñanza aprendizaje en la Universidad Central del Ecuador. In R. (ed. . Roig-Vila (Ed.), EDUcación y TECnología. Propuestas desde la investigación y la innovación educativa. Alicante: Octaedro.
Mejía, J. F., & López, D. (2016). Modelo de Calidad de E-learning para Instituciones de Educación Superior en Colombia. Formación Universitaria, 9(2), 59–72. http://doi.org/10.4067/S0718-50062016000200007 Militaru, T.-L., Suciu, G., & Todoran, G. (2012). The evaluation of the e-learning applications’ quality. In Proceedings Elmar - International Symposium Electronics in Marine.
Moore, J. L., Dickson-Deane, C., & Galyen, K. (2011). E-Learning, online learning, and distance learning environments: Are they the same? Internet and Higher Education, 14(2), 129–135. http://doi.org/10.1016/j.iheduc.2010.10.001 Nanduri, S., Babu, N. S. C., Jain, S., Sharma, V., Garg, V., Rajshekar, A. P., & Rangi, V. (2012). Quality Analytics Framework for E-learning Application Environment. In 2012 IEEE Fourth International Conference on Technology for Education (pp. 204–207). IEEE. http://doi.org/10.1109/T4E.2012.59 Pina, A. B. (2004). Blended learning. Conceptos básicos. Pixel-Bit. Revista de Medios y Educación, 23, 7–20.
PNUD. (2015). Objetivos de Desarrollo Sostenible | PNUD. Retrieved October 22, 2018, from http://www.undp.org/content/undp/es/home/sustainable-development-goals.html REMAD (2013). Propuesta de mejoras a los conceptos y definiciones sobre la modalidad a distancias y otros aspectos en el Reglamento de Régimen Académico. Red de Universidades Ecuatorianas que promueven los estudios en modalidad abierta y a distancia. Retrieved from www.ces.gob.ec/doc/jkgh/observaciones%20rra%20de%20remad.pdf Sáenz, M. (2009). Invitación a la Teoría de Sistemas (Servicios). Quito, Ecuador: Instituto de Estudios del Petroleo Petroecuador.
Santoveña Casal, S. M. (2004). Criterios de calidad para la evaluacion de cursos virtuales. Revista Científica Electrónica de Educación y Comunicación En La Sociedad Del Conocimiento, 2(4), 18–36. Retrieved from http://eticanet.org/revista/index.php/eticanet/article/view/2 Secretaría Nacional de Planificación y Desarrollo. (2017). Plan Nacinal de Desarrollo 2017-2021. Toda una vida. Retrieved from http://www.planificacion.gob.ec/wp-content/uploads/downloads/2017/10/PNBV-26-OCT-FINAL_0K.compressed1.pdf Skalka, J., Švec, P., & Drlík, M. (2012). E-learning and Quality: The Quality Evaluation Model for E-learning Courses. In {DIVAI} 2012. Retrieved from http://conferences.ukf.sk/index.php/divai/divai2012/paper/view/897 Stefanovic, M., Tadic, D., Arsovski, S., Arsovski, Z., & Aleksic, A. (2010). A Fuzzy Multicriteria Method for E-learning Quality Evaluation. International Journal of Engineering Education, 26(5), 1200–1209.
Tahereh, M., Maryam, T. M., Mahdiyeh, M., & Mahmood, K. (2013). Multi dimensional framework for qualitative evaluation in e-learning. In Proceedings of Fourth ICELET 2013 (pp. 69–75). Shiraz, Iran: IEEE. http://doi.org/10.1109/ICELET.2013.6681648 Tinker, R. (2001). E-Learning Quality: The Concord Model for Learning from a Distance. NASSP Bulletin, 85(628), 36–46. http://doi.org/10.1177/019263650108562804 UNESCO. (2009). Conferencia Mundial sobre la Educación Superior - 2009. La Nueva Dinámica de La Educación Superior y La Investigación Para El Cambio Social y El Desarrollo, 1–9. Retrieved from http://www.unesco.org/education/WCHE2009/comunicado_es.pdf UNESCO. (2011). UNESCO ICT Competency Framework for Teachers (No. CI-2011/WS/5). París: UNESCO. Retrieved from http://unesdoc.unesco.org/images/0021/002134/213475E.pdf UNESCO. (2017). La educación al servicio de los pueblos y el planeta. Retrieved from http://unesdoc.unesco.org/images/0024/002485/248526S.pdf Universidad Central del Ecuador. (2018). Plan Estratégico de Desarrollo Institucional de la Universidad Central del Ecuador 2018-2022. Quito, Ecuador.
Vagarinho, J. P., & Llamas-Nistal, M. (2012). Quality in e-learning processes: {State} of art. In 2012 International Symposium on Computers in Education (SIIE) (pp. 1–6).
Valverde-Alulema, F., Mejia-Madrid, G., Meza-Bolaños, D., Molina-Carmona, R., Llorens-Largo, F., Compañ-Rosique, P., & Satorre-Cuerda, R. (2016). Digital University: Management Model for Evaluating Teaching and Learning Processes in Face, Distance, Online and Virtual Education. In ICERI2016 Proceedings (pp. 1455–1463). Seville, Spain: IATED. https://doi.org/10.21125/iceri.2016.1329 Valverde-Alulema, F. X., Tobar-Cazares, L. J., & Mejía-Madrid, G. (2016). Las Tecnologías de la Información y Comunicación como componente indispensable en el diseño curricular de las carreras de Finanzas en el Ecuador. In R. (ed. . Roig-Vila (Ed.), EDUcación y TECnología. Propuestas desde la investigación y la innovación educativa. Alicante: Octaedro Zhang, W., & Cheng, Y. L. (2012). Quality assurance in e-learning: PDPP evaluation model and its application. The International Review of Research in Open and Distributed Learning, 13(3), 66–82.
