Empirical foundations for automated quality assessment of learning objects inside repositories

• Autores: Cristian Cechinel
• Directores de la Tesis: Salvador Sánchez Alonso (dir. tes.) , María Elena García Barriocanal (codir. tes.)
• Lectura: En la Universidad de Alcalá ( España ) en 2012
• Idioma: inglés
• Tribunal Calificador de la Tesis: Nikolaos Manouselis (presid.) , Miguel Ángel Sicilia Urbán (secret.) , Ricardo Colomo Palacios (voc.) , Julià Minguillón (voc.) , Juan Manuel Dodero Beardo (voc.)
• Enlaces
  • Tesis en acceso abierto en: TESEO
• Resumen
  • español

    Los Objetos de Aprendizaje pueden ser definidos como pequeñas unidades de Conocimiento que son utilizadas y reutilizadas en el proceso de enseñanza y aprendizaje. Ellos son considerados por muchos cómo las piedras angulares para la amplia diseminación y adopción de las iniciativas de e-learning por todo el globo. Gran parte de los repositorios de objetos de aprendizaje (sistemas donde los objetos de aprendizaje son publicados para que los usuarios puedan buscar y recuperarlos fácilmente) han adoptado estrategias para la evaluación de la calidad de sus recursos que están normalmente basadas en la opinión de la comunidad de expertos y usuarios del repositorio. Aunque dichas estrategias pueden de algún modo ser consideradas exitosas, ellas dependen solamente del trabajo humano y no son suficientes para encargarse de la enorme cantidad de recursos existentes hoy en día.

    Esa situación ha hecho aumentar la preocupación sobre el desarrollo de métodos para la evaluación automática de la calidad dentro de los repositorios. La presente disertación aborda ese problema proponiendo una metodología para el desarrollo de modelos capaces de clasificar automáticamente los objetos de aprendizaje disponibles en repositorios en distintos grupos de calidad. La idea básica es utilizar las evaluaciones on-line existentes (metadatos evaluativos) en los repositorios para dividir los objetos de aprendizaje en grupos de calidad (e.g., buenos y no-buenos), permitiéndonos así obtener medidas intrínsecas de los recursos que presenten diferencias significativas entre esos grupos. Denominaremos a esas características (medidas) “perfiles de objetos deaprendizaje altamente puntuados” que son consideradas como potenciales indicadores de calidad y por tanto pueden ser utilizados cómo variables de entrada por algoritmos de clasificación enfocados en la creación de modelos de evaluación automática de la calidad.

    Con el fin de examinar nuestra propuesta, hemos analizado35 medidas de una muestra de objetos de aprendizaje referenciados por el repositorio Multimedia Educational Resource for Learning and Online Teaching (MERLOT) y elaboramos perfiles para esos recursos teniendo en cuenta las distintas categorías temáticas así como los tipos de materiales disponibles. Durante nuestra investigación, descubrimos que algunas de las medidas intrínsecas presentan diferencias significativas entre los recursos con puntuaciones altas y el resto y que esas diferencias son dependientes de la categoría temática a la que el recurso pertenece, así como del tipo de recurso. Además, nosotros observamos que los diferentes perfiles deben ser identificados teniendo en cuenta el grupo que realizó la evaluación (expertos o usuarios).

    Basándonos en esos hallados, decidimos restringir la generación y la evaluación de los modelos para los tres subconjuntos cruzados (considerando las categorías tema, tipo de material y perspectiva de calidad de los expertos) pues son éstas las que contienen el mayor número de ocurrencias en el repositorio. Para esos subconjuntos generamos y evaluamos modelos a través de la utilización de Análisis Discriminante Lineal y Algoritmos de Minería de Datos para Clasificación, y encontramos resultados preliminares que indican la viabilidad de tal enfoque para esos subconjuntos específicos. La disertación finaliza presentando dos posibles escenarios de utilización de los modelos desarrollados una vez que estén implementados en un repositorio.

    Los resultados iniciales de ese trabajo son prometedores, por lo que esperamos que los mismos sean utilizados como fundamentos para el futuro desarrollo de una herramienta automática para la evaluación contextualizada de la calidad de los objetos de aprendizaje dentro de repositorios.

  • English

    Learning objects can be defined as small units of knowledge that can be used and reused in the process of teaching and learning. They are considered by many as the cornerstone for the widespread development and adoption of e-learning initiatives over the globe. Most of the current learning objects repositories (systems where learning objects are published so users can easily search and retrieve them) have been adopting strategies for quality assessment of their resources which are normally based on the opinion of the community of experts and users around them. Although such strategies can be considered successful at some extent, they rely only on human-work and are not sufficient to handle the enormously amount of resources existing nowadays. Such situation has raised the concern for the development of methods for automated quality assessment inside repositories.

    The present dissertation approaches this problem by proposing a methodology for the development of models able to automatically classify LOs stored on repositories according to groups of quality. The basic idea of our dissertation is to use the existing on-line evaluations (evaluative metadata) of the repositories in order to divide learning objects on groups of quality (e.g., good and not-good), thus allowing us to search for intrinsic features of the resources that present significant differences between these groups. These features (metrics) are called by us ¿highly-rated learning object profiles¿ and are considered potential indicators of quality that can be used by classification algorithms as input information to create models for automated quality assessment.

    In order to test our proposal, we analyzed 35 metrics of a sample of learning objects refereed by the Multimedia Educational Resource for Learning and Online Teaching (MERLOT) repository, and elaborated profiles for these resources regarding the different categories of disciplines and material types available. We found that some of the intrinsic metrics present significant differences between highly rated and poorly-rated resources and that those differences are dependent on the category of discipline to which the resource belongs and on the type of the resource. Moreover, we found that different profiles should be identified according to the type of rating (peer-review or user) under evaluation. Based on these findings, we decided to restrain the generation and evaluation of models to the three intersected subsets - considering the categories of discipline, material type and the peer-reviewers¿ perspective of quality) - with the higher number of occurrences in the repository. For those subsets we generated and evaluated models through the use of Linear Discriminant Analysis and Data Mining Classification Algorithms, and we found preliminary results that point out the feasibility of such approach for these specific subsets. The dissertation ends by presenting two possible usage scenarios for the developed models once they are implemented inside a repository.

    The initial results of this work are promising and we expect that they will be used as the foundations for the further development of an automated tool for contextualized quality assessment of learning objects inside repositories.