Evaluación del Desempeño basado en Métricas de un Sistema Pedagógico Multi-Agente, Ubicuo Sensible al Contexto y Apoyado en Ontologías

 

Evaluation of Metrics-based Performance of a Ubiquitous E-Learning Multi-Agent Context-Aware System, using Ontologies

 

Oscar M. Salazar⁽¹⁾, Demetrio A. Ovalle⁽¹⁾ y Néstor D. Duque⁽²⁾

(1) Universidad Nacional de Colombia, Facultad de Minas, Departamento de Ciencias de la Computación y de la Decisión, Grupo de investigación GIDIA, Medellín-Colombia (e-mail: dovalle@unal.edu.co, omsalazaro@unal.edu.co)

(2) Universidad Nacional de Colombia, Departamento de Informática y Computación, Grupo de Investigación GAIA, Manizales-Colombia (e-mail: ndduqueme@unal.edu.co)

---

Resumen

Se presenta la evaluación de desempeño de un Sistema Multi-Agente Ubicuo (U-SMA) de aprendizaje electrónico (e-learning). La metodología de evaluación está basada en cuatro ejes correspondientes a las inferencias ontológicas, los servicios de conocimiento sensibles al contexto (awareness), la aplicación móvil y el desempeño general del U-SMA utilizando métricas cualitativas y cuantitativas. Los resultados permiten concluir que las recomendaciones realizadas a partir de inferencias ontológicas son muy acertadas, que los servicios de conocimiento sensibles al contexto tuvieron gran aceptación dentro de la población encuestada, que la funcionalidad de la aplicación móvil fue muy satisfactoria, y que la evaluación del desempeño general del U-SMA arrojó altos índices de escalabilidad para un número de usuarios concurrentes en aumento y un tiempo de respuesta con crecimiento lineal. Los resultados evidencian las bondades de integrar computación ubicua, sensibilidad al contexto, adaptación al perfil del estudiante, servicios de conocimiento sensibles al contexto, así como, una representación basada en ontologías.

Palabras clave: evaluación del desempeño; aprendizaje electrónico; SMA ubicuos y pedagógicos; sistemas sensibles al contexto; métricas cuantitativas

---

Abstract

The performance evaluation of a ubiquitous e-learning multi-agent system (U-MAS) is presented. The methodology is mainly based on four axes corresponding to ontological inferences, the context-awareness services, the mobile application and the overall performance of the U-MAS using qualitative and quantitative metrics. The results obtained suggest that the recommendations from ontological inferences are very successful, that the awareness services had great acceptance within the surveyed population of students, that the functionality concerning the mobile application was very satisfactory, and that the general performance evaluation of the U-SMA offers high levels of scalability for an increase number of concurrent users and with linear growth response. The results demonstrate the benefits of integrating ubiquitous computing, context-awareness services, adaptation to the student profile, as well as, a knowledge representation based on ontologies.

Keywords: performance evaluation; e-learning; context-aware systems; ubiquitous pedagogical MAS; ontologies

---

 

INTRODUCCION

La computación ubicua hace referencia a un nuevo paradigma de la informática en donde los dispositivos tecnológicos están presentes en la vida cotidiana del usuario. El objetivo de estos dispositivos es ayudar al usuario en el cumplimiento de sus tareas sin atentar a su privacidad y ofrecer interfaces de interacción con los sistemas que sean amigables y fáciles de utilizar (Kinshuk et al., 2012). La computación ubicua debe exhibir de igual manera características de proactividad y adaptatividad de acuerdo al contexto en el cual se desenvuelve el usuario. Por su parte, los Sistemas Multi-Agente (SMA) caracterizados por ser la técnica más utilizada actualmente de la inteligencia artificial distribuida, son definidos como sistemas complejos constituidos por agentes autónomos con conocimientos específicos en un dominio, capaces de interactuar para realizar tareas orientadas a la consecución de un objetivo común (Carrera et. al, 2014). Otra de las características de este tipo de sistemas es la facilidad de adquisición y procesamiento de información que se encuentra altamente distribuida, lo que se complementa perfectamente con la computación ubicua y los dispositivos móviles. Es así que un Sistema Multi-Agente Ubicuo (U-SMA) se caracteriza por añadir características de ubicuidad a un SMA, lo cual puede traer numerosas ventajas. Lo anterior, debido a que solo se tendría un sistema autónomo, inteligente y distribuido, sino que se garantizaría el acceso a la información desde cualquier momento y lugar.

El concepto de awareness (consciencia), es algo inherente al ser humano y llega a convertirse en una parte central para el seguimiento de las actividades en ambientes virtuales de aprendizaje. A través del awareness, los individuos tienen la capacidad de percibir los cambios generados en el ambiente de aprendizaje por la acción de su actividad en la ejecución de tareas de aprendizaje, así como, al momento de evaluar sus conocimientos adquiridos a través del sistema computarizado y de esta forma le facilita al estudiante el poder dirigir sus actitudes y adquirir nueva información (Salazar et al., 2015). A partir de la incorporación de este concepto a entornos virtuales de aprendizaje, es posible generar un contexto de la actividad de los estudiantes, es decir, la información referente a las actividades de aprendizaje se mantiene en constante actualización, lo que permite mejorar el desempeño y por ende el desarrollo del proceso de aprendizaje de los estudiantes.

El contexto puede ser definido como el estado actual de un estudiante respecto a una actividad de aprendizaje, esto permite la construcción de sistemas inteligentes que puedan predecir y anticipar de mejor manera las necesidades de los estudiantes, generando una respuesta eficiente al comportamiento de estos (Verbert et al., 2012). Este tipo de sistemas tienen la capacidad de adaptar su estructura o contenido a parámetros del entorno como la localización de uso, el conjunto de personas, los objetos cercanos y los cambios de estos objetos en el tiempo (Restrepo, 2012). Por su parte, las ontologías pueden ser definidas como el resultado de seleccionar un dominio particular y a partir de la aplicación de una metodología bien definida, obtener una representación formal de las entidades y de las relaciones existentes entre ellas (Tramullas et al., 2013). Con base en esto, es importante generar una representación formal de la estructura de los cursos virtuales adaptativos, con el fin de realizar inferencias y generar recomendaciones, mejorando así el proceso de aprendizaje. De igual manera, contar con representaciones formales de un dominio específico permite contar con información legible y reutilizable por los computadores (Gaeta et al., 2011).

Según (Restrepo, 2012; Cardona y Sánchez, 2010), la evaluación del desempeño de un sistema informático que incorpora características de inteligencia computacional, debe considerar tanto métricas cuantitativas como cualitativas. Esto permite evidenciar la eficacia del modelo propuesto a partir del cumplimiento de características propias de sistemas computacionales inteligentes. El enfoque que propone este tipo evaluación considera métricas cualitativas como: interactividad, conectividad, ubicuidad, invisibilidad, adaptatividad, sensibilidad al contexto y métricas cuantitativas como: latencia, completitud y escalabilidad. El aplicar este tipo de metodologías de evaluación no solo permite evidenciar las falencias que puede presentar un modelo computacional inteligente, sino que también permite considerar futuras mejoras que permitan responder de mejor manera a las necesidades de los usuarios.

El objetivo de este artículo es entonces presentar la evaluación de desempeño de un U-SMA de e-learning (Acevedo et al., 2010) sensible al contexto, el cual busca realizar recomendaciones en un entorno virtual de aprendizaje basado en dispositivos móviles y utilizando servicios de awareness. Dichos servicios juegan un papel muy importante ya que sirven para brindar alertas inmediatas al estudiante a través de su dispositivo móvil cuando el sistema detecta eventos significativos tales como finalización de tareas, re-planificación del aprendizaje, recomendación de recursos educativos, apoyo al aprendizaje mediante asignación de asistentes, etc. La utilización de servicios de awareness pretende sensibilizar a los estudiantes sobre su desempeño, paso a paso, en su proceso de enseñanza-aprendizaje mientras utiliza un entorno de aprendizaje virtual. El modelo propuesto considera cuatro frentes de evaluación correspondientes a las inferencias ontológicas, los servicios de awareness, la aplicación móvil y el desempeño general del SMA, a partir de los cuales se pretende evaluar el desempeño del sistema desde el punto de vista cualitativo como cuantitativo.

ANTECEDENTES

Gómez et al. (2014) presentan un sistema móvil sensible al contexto de aprendizaje adaptativo y personalizado llamado UoLmP por sus siglas en ingles Units of Learning mobile Player. Este sistema tiene como objetivo principal el apoyar la adaptación semiautomática de actividades de aprendizaje desde dos puntos de vista: primero busca adaptaciones a la interconexión de las actividades de aprendizaje, es decir, el flujo de aprendizaje. El otro punto considera adaptaciones a los recursos educativos, herramientas y servicios de apoyo a las actividades de aprendizaje. UoLmP desarrolla una interfaz de usuario para la captura de información contextual como el nivel del ruido en el ambiente, los aspectos que el usuario desea mejorar, el lugar en el cual se encuentra, el tipo de recursos que desea acceder, etc. A partir de la captura de la información contextual del usuario el sistema tiene la capacidad de definir un flujo de actividades de aprendizaje a partir de la planificación de recursos adaptados al usuario.

Ahmad y Bokhari (2012) presentan un entorno de e-learning basado en una arquitectura multi-agente que considera características del estudiante para proporcionar material educativo adaptativo, el cual es diseñado por un profesor particular para apoyar el proceso de aprendizaje. El enfoque principal del sistema busca mejorar el nivel de seguridad y reducir la complejidad de la interacción del sistema a nivel de usuario. La arquitectura del sistema considera ocho agentes que interactúan para realizar tareas de recomendación de recursos, asistencia en el diseño de nuevos materiales, evaluación del estudiante y administración de contenidos del curso.

Lee et al. (2011) desarrollan un prototipo para dispositivos móviles con sistema operativo Android basado en interfaces adaptativas, el cual reúne características del contexto espacio-temporal de los usuarios para recomendar aplicaciones. Este sistema recopila características contextuales como el tiempo, la ubicación y el clima para aplicar filtros a las aplicaciones del dispositivo móvil y recomendar las que más se acomodan al usuario en ese instante de tiempo. De esta manera, el sistema anticipa las necesidades del usuario, garantizando el ahorro de tiempo en la búsqueda de las aplicaciones por parte de estos. Para implementar la interfaz de usuario adaptativa, se desarrolló un algoritmo de aprendizaje de maquina e inferencia espacio-temporal llamado estructura espacio-temporal de aprendizaje.

Un metamodelo genérico de Inteligencia Ambiental (AmI, del inglés "Ambient Intelligence") que incluye los modelos más relevantes para el diseño e implementación de sistemas AmI reales es presentado en (Restrepo et al., 2014). Esta investigación comprende la definición de (i) un modelo de contexto, que contiene información sobre las variables que definen el estado del entorno; (ii) un modelo de adaptación, que permite al sistema ofrecer servicios a la medida de los usuarios y del contexto; (iii) un modelo de usuario, que resume la información personal específica de cada usuario; y (iv) un modelo de dominio, que define el conocimiento y vocabulario específico de la aplicación a diseñar. Adicionalmente, este trabajo propone un modelo de evaluación del desempeño del SMA de AmI a partir de métricas bien definidas tanto cualitativas como cuantitativas.

Los trabajos previos permiten evidenciar grandes fortalezas que ayudan a esclarecer los avances que se han llevado a cabo dentro del campo de investigación. Sin embargo, también presentan falencias que deben ser abordadas para mejorar los entornos de aprendizaje personalizados y ubicuos. Estas falencias radican principalmente en la ausencia de una estructura de representación semántica para el conocimiento relacionado con el domino del aprendizaje ubicuo (u-learning), los perfiles de usuario y el diseño instruccional de cursos. Otra falencia notoria y que evidencia grandes porcentajes de deserción en los Cursos Virtuales Adaptativos (CVA) es la falta de adaptación de recursos educativos a los perfiles de usuario de los estudiantes. Adicionalmente, es importante incorporar otras características al momento de evaluar de forma cualitativa y cuantitativa a través de métricas un U-SMA pedagógico, cuya medición permita evidenciar de manera más clara las ventajas y/o desventajas de utilizar este tipo de sistemas de aprendizaje electrónico (e-learning).

SISTEMA MULTI-AGENTE UBICUO SENSIBLE AL CONTEXTO Y APOYADO EN ONTOLOGÍAS

Ovalle et al. (2014) presentan la materialización de un modelo de U-SMA en un sistema multi-agente de recomendación personalizada para dispositivos móviles, el cual abordó las necesidades actuales referentes a los métodos de enseñanza-aprendizaje virtual. Dicho modelo incorpora el concepto de agentes inteligentes los cuales utilizan mecanismos que permiten la búsqueda y recomendación de recursos educativos a través de la adaptación de los resultados a las preferencias y características del estudiante. Adicionalmente, se especificó, diseñó e implementó una ontología de dominio específico que representa el conocimiento referente a CVA, perfiles e información contextual de los usuarios y el estándar IEEE-LOM (LOM, del inglés "Learning Object Metadata") para metadatos de Objetos de Aprendizaje (OA).

Salazar (2015) extiende dicho modelo incorporando servicios de awareness que permiten a los aprendices generar conciencia del contexto de su propia actividad de aprendizaje, es decir, a mantener la información actualizada referente a lo que está haciendo y de esta forma le ayuda a mejorar su desempeño y por ende el desarrollo de su proceso de aprendizaje. La Figura 1 presenta el modelo propuesto de dicha investigación, el cual integra el SMA con los componentes ontológicos, la base de datos, los dispositivos móviles de los usuarios, los servicios de awareness y el sistema BROA (Búsqueda, Recuperación, recomendación y evaluación de OA) (Rodriguez et al., 2012). De igual manera, la arquitectura contempla siete diferentes tipologías de agentes encargados de desplegar las funcionalidades ofrecidas por el sistema. A destacar, el agente de awareness el cual despliega los servicios bien sea por solicitud de los usuarios o por efectos de proactividad, ofreciendo información de utilidad como el participómetro (nivel de participación de un estudiante dentro de las diferentes temáticas del CVA), grafo de avance (vista general del estado del estudiante dentro del curso y las temáticas que el estudiante tiene pendientes), grafo de interacción asistente-estudiante, vista histórica de las actividades de aprendizaje, muro de lluvia de ideas, comunidad de práctica, así como alarmas y recordatorios.

Fig. 1. Modelo de U-SMA pedagógico sensible al contexto y apoyado en ontologías.

MODELO DE EVALUACION PROPUESTO

El modelo de evaluación propuesto para la evaluación del desempeño del U-SMA basado en métricas, considera cuatro frentes, a saber: (a) las recomendaciones de recursos educativos a partir de la ontología, (b) la satisfacción en la utilización de los servicios de awareness, (c) la funcionalidad de la aplicación móvil y (d) el desempeño general del SMA a partir de métricas cualitativas y cuantitativas. A continuación se detalla el proceso llevado a cabo en cada uno de los frentes:

i) Evaluación del desempeño de las recomendaciones de recursos educativos a partir de la ontología: este frente buscó validar la recomendación de recursos educativos que realiza el sistema tanto a estudiantes como a docentes. Para esto se consideraron dos esquemas los cuales se pueden observar en las Figuras 2 y Fig. 3. La primera consideró la evaluación por parte de los estudiantes, mientras que la segunda consideró la evaluación desde el punto de vista de los docentes; logrando contrastar así el resultado de las recomendaciones realizadas desde los dos puntos de vista involucrados en el proceso.

Fig. 2. Proceso de evaluación del desempeño ontológico por parte de los estudiantes

Fig. 3. Proceso de evaluación del desempeño ontológico por parte de los profesores

El proceso de evaluación del desempeño de las recomendaciones realizadas a partir de la ontología por parte de los estudiantes comprendió los siguientes pasos: (1) se recuperaron los OA asociados a las temáticas del CVA de Inteligencia Artificial, (2) se agruparon dichos OA en temáticas asociadas al CVA, (3) se seleccionaron diez estudiantes junto con sus perfiles de usuario, (4) el SMA recomendó los OA que más se acoplaban a los perfiles de usuario, (5) los estudiantes seleccionaron los OA que más les gustaban y (6) se realizó una comparación de los resultados arrojados por el SMA y los OA seleccionados por los estudiantes, en donde se midieron cuántos de los OA seleccionados por los estudiantes fueron recomendados por el SMA.

En cuanto al proceso de evaluación del desempeño de las recomendaciones realizadas a partir de la ontología por parte de los profesores comprendió los siguientes pasos: (1) se recuperaron los OA asociados a las temáticas de los CVA de Inteligencia Artificial y SMA, (2) El SMA realizó una recomendación para el agrupamiento de estos OA en temáticas, (3) de manera simultánea los profesores seleccionaron los OA que más se acoplaban a las temáticas del CVA, (4) se realizó una comparación de los resultados arrojados por el SMA y los OA seleccionados por los profesores, en donde se midieron cuántos de los OA seleccionados para las temáticas fueron también seleccionados por los profesores.

ii) Evaluación del desempeño de la satisfacción en la utilización de los servicios de awareness: este frente consideró el diseño de una encuesta que permitiera indagar sobre la percepción de los estudiantes respecto a los servicios presentados, con el fin de realizarla después de la interacción de los estudiantes con el SMA ubicuo.

iii) Evaluación del desempeño de la funcionalidad de la aplicación móvil: con el objetivo de validar el funcionamiento de la aplicación a nivel móvil, se realizaron diferentes pruebas de despliegue de la plataforma. Para este fin se consideraron dos aspectos: (a) el despliegue de la aplicación en diversas versiones del sistema operativo Android y (b) el despliegue de la aplicación en diversos dispositivos con sistema operativo Android, es decir, una evaluación del desempeño fue más a nivel de software y otra a nivel de hardware.

iv) Evaluación del desempeño general del SMA a partir de métricas cualitativas y cuantitativas: para realizar la evaluación del desempeño general del SMA de u-learning se consideraron ciertas características que fueron evaluadas a partir de métricas propuestas por (Restrepo, 2012).

Es importante aclarar que aunque dichas métricas están orientadas a evaluar el desempeño de un sistema de inteligencia ambiental, excluyendo la característica de invisibilidad se acoplan perfectamente a la evaluación del modelo propuesto en este trabajo, ya que comparten características tales como interactividad, ubicuidad, adaptatividad, entre otras. Cabe señalar que la característica de invisibilidad para un sistema de inteligencia ambiental consiste en determinar la capacidad que tiene el sistema para adaptar el entorno sin que el usuario pueda percibirlo o sin que tenga que realizar acciones evidentes para lograrlo. Este enfoque propone una evaluación a partir de métricas cualitativas y cuantitativas. Las métricas cualitativas consideradas fueron: interactividad, conectividad, ubicuidad, invisibilidad, adaptatividad, sensibilidad al contexto. Por su parte, las métricas cuantitativas son: latencia y escalabilidad.

RESULTADOS Y DISCUSION

Se aplicó el modelo de evaluación del desempeño propuesto al U-SMA con el fin de evidenciar el desempeño de algunas de las características propuestas en el marco de este trabajo.

Evaluación del desempeño de la satisfacción en la utilización de los servicios de awareness

Los resultados evaluación del desempeño ontológico por parte de los estudiantes se presentan en la Tabla 1. A partir de los resultados obtenidos se evidencia que las recomendaciones realizadas por el SMA tienen alto porcentaje de acierto respecto a los OA seleccionados por los estudiantes (superior al 70%).

Tabla 1: Resultados de la evaluación del desempeño ontológico por parte de los estudiantes.

Como se puede observar estos porcentajes son altos, lo que demuestra la efectividad del sistema y el propósito de la investigación es medir el desempeño del sistema. Se busca como trabajo futuro mejorar la representación ontológica de forma a que se mejoren aún más estos porcentajes de acierto. El resultado de la evaluación del desempeño ontológico por parte de los profesores se presenta en la Tabla 2. Cabe señalar que los resultados corresponden a cada uno de los tres profesores evaluados.

Tabla 2: Resultados de la evaluación del desempeño ontológico por parte de los docentes.

En conclusión se puede afirmar que el SMA agrupó los OA a las temáticas del CVA con un porcentaje de acierto superior al 60% para la mayoría de los casos.

Evaluación del desempeño de la satisfacción en la utilización de los servicios de awareness

La encuesta diseñada fue aplicada en el curso de Inteligencia Artificial del departamento de Ciencias de la Computación y de la Decisión de la Universidad Nacional de Colombia - Sede Medellín. Este curso contó con 32 estudiantes de pregrado, 27 de Ingeniería de Sistemas e Informática y 5 de Ingeniería de Control. Los resultados de la aplicación de la prueba se presentan en la Figura 4, de la cual se puede concluir que los servicios ofrecidos por el SMA tuvieron un gran porcentaje de aceptación dentro de los estudiantes (91%), que los servicios mejor calificados fueron: el grafo de avance (69%), el participómetro (60%), el servicio de alarmas (81%), la comunidad (63%) y la visualización de asistentes en línea (72%). Finalmente se evidencia que el objetivo de los servicios de awareness dentro del SMA es claro para los estudiantes, sin embargo, algunos servicios como: los recursos accedidos y la vista histórica de actividades parecen ser ambiguos y no son claros al momento de presentar la información.

Fig. 4. Medición de la encuesta de percepción de los servicios de awareness.

Evaluación del desempeño de la funcionalidad de la aplicación móvil

La Tabla 3 presenta diversos factores de evaluación del desempeño de la aplicación para diferentes sistemas operativos, se puede concluir que en las últimas versiones del sistema operativo Android el SMA funciona bastante bien. Sin embargo, para la versión de Android 2.3.3 (Gingerbread) la visualización de los componentes no es la mejor debido a que algunos botones se desordenan, presenta problemas de conexión con la plataforma de JADE y algunos recursos pueden perder su formato debido a la obsolescencia de las aplicaciones de ejecución de videos, audio, pdf. Para la evaluación a nivel del dispositivo los resultados fueron muy satisfactorios, puesto que el despliegue de la aplicación no presentó mayores inconvenientes. Se consideraron los tres dispositivos que se observan en la Tabla 4, debido a la diversidad de sistemas operativos y por el tamaño de las pantallas (5 pulgadas, 4 pulgadas y 10.1 pulgadas respectivamente).

Tabla 3: Evaluación del desempeño del despliegue de la aplicación en diversas versiones del Sistema Operativo Android.

Tabla 4: Evaluación del desempeño del despliegue de la aplicación en diversos dispositivos móviles.

Evaluación del desempeño general del SMA a partir de métricas cualitativas y cuantitativas

La Tabla 5 presenta la evaluación del desempeño a partir de métricas cualitativas. En dicha tabla se describen cada una de las métricas con su respectiva calificación.

Tabla 5: Evaluación del desempeño cualitativa del SMA.

Para la evaluación del desempeño cuantitativa se tuvieron en cuenta principalmente dos métricas: la latencia y la escalabilidad. La latencia o tiempo de respuesta del sistema puede ser definido como el tiempo que transcurre entre la solicitud de una funcionalidad o servicio y la entrega de la respuesta. Para la medición de la latencia en el SMA fue seleccionada la funcionalidad de planificación, ya que es una de las tareas más recurrentes, importantes y solicitadas. A partir de la selección de la funcionalidad, se realizaron treinta solicitudes simultáneas de treinta usuarios conectados concurrentemente. El resultado de dicha presenta una relación de incremento lineal, es decir, si varios usuarios solicitan esta funcionalidad simultáneamente, el tiempo de respuesta se incrementará linealmente, según la siguiente ecuación: 1 = α n + β. Donde 1 es la medida de la métrica de latencia y n es el número de usuarios concurrentes (α = 1.1538 , β = —0.3845 ). De manera similar, se midió la latencia en la conexión concurrente de varios usuarios. Para esta prueba se realizó una prueba de estrés al servidor con mil usuarios. De la prueba se puede concluir que los tiempos de respuesta para la conexión de usuarios concurrentes es muy buena, ya que a pesar del gran número de dispositivos móviles que establecieron conexión, los tiempos siempre oscilaron entre 0,01 y 0,1 milisegundos.

La escalabilidad, por su parte permite evaluar el desempeño del SMA ubicuo en el momento en que el número de usuarios o de solicitudes se incrementa drásticamente. Esta métrica comprende la medición de dos aspectos: (1) el tiempo de respuesta cuando aumenta el tamaño de las fuentes de información, en nuestro caso la ontología y (2) el tiempo de respuesta cuando se aumenta el número de usuarios concurrentes en la plataforma. Con base en lo anterior el primer aspecto a medir fue el tiempo de respuesta al aumentar la información contenida dentro de la ontología.

La Figura 5 presenta el resultado de esta prueba, de la cual se puede concluir que al aumentar drásticamente los registros referentes a perfiles de usuario y a recursos educativos, los tiempos de respuesta no se alteran drásticamente. Esto permite concluir que la escalabilidad del sistema desde el punto de vista de la información es bastante buena, puesto que los valores siempre oscilan entre 1,28 segundos y 1,41 segundos a pesar de que la información se altera drásticamente.

Fig. 5. Tiempo de respuesta del SMA cuando aumenta Ia cantidad de registros en Ia ontología.

El segundo aspecto de la métrica de escalabilidad busca determinar cómo varía el desempeño del SMA cuando el número de usuarios aumenta. Su resultado permite evidenciar en qué proporción se altera el tiempo de latencia.

La fórmula para su medición, se presenta a continuación:

(1)

Donde Latencia_max y la Latencia_min representan los valores máximo y mínimo de la latencia calculada previamente y n hace referencia al número de usuarios considerados. Para medir la escalabilidad se consideraron entonces los datos de la métrica de latencia de la Figura 6, de los cuales se tomaron los siguientes: Latencia_min = 1,26, Latencia_max = 34,24 y n = 30. Cabe señalar que desde el punto de vista computacional un tiempo de respuesta de 34,24 seg es bastante apropiado cuando se tienen bastantes usuarios simultáneamente (n=30), o sea, solicitando recursos en forma concurrente. El valor que se obtiene para la escalabilidad es el siguiente:

(2)

Fig. 6. Latencia o tiempo de respuesta del SMA.

CONCLUSIONES

Los resultados obtenidos a partir de la evaluación del desempeño después de aplicar las métricas cualitativas y cuantitativas al U-SMA de e-learning permitieron concluir que:

i) las recomendaciones realizadas a partir de inferencias ontológicas son muy acertadas.

ii) los servicios de awareness tuvieron gran aceptación dentro de la población encuestada, sin embargo existen problemas en el entendimiento de algunos servicios.

iii) la evaluación de la funcionalidad de la aplicación móvil fue muy satisfactoria, ya que el despliegue de las funcionalidades fue bueno para los diversos sistemas operativos y dispositivos considerados.

iv) la evaluación del desempeño general del U-SMA arrojó altos índices de escalabilidad para un número de usuarios concurrentes en aumento y un tiempo de respuesta con crecimiento lineal, lo que indica que si se integra un mecanismo que permita la inferencia síncrona a partir de la ontología que es el proceso en donde se encuentra el cuello de botella, será posible mejorar el rendimiento del SMA.

v) A nivel cuantitativo el U-SMA responde bien a las métricas establecidas que definen un SMA ubicuo, personalizado, sensible al contexto y adaptativo.

AGRADECIMIENTOS

Esta investigación fue financiada por la beca de Jóvenes investigadores de COLCIENCIAS, otorgada a Oscar M. Salazar O. a través de la Convocatoria 645 de 2014 "Capítulo 1 Semilleros-Jóvenes Investigadores".

REFERENCIAS

Acevedo, C., J.L. Arciniegas, X. García y J. Perrinet, Proceso de Adaptación de una Aplicación de e-aprendizaje a t-aprendizaje, Información Tecnológica, Vol. 21(6), 27-36 (2010)

Ahmad, S. y M. Bokhari, A New Approach to Multi Agent Based Architecture for Secure and Effective E-learning, International Journal of Computer Applications, ISSN: 0975 - 8887, Vol. 46 (22), 26-29 (2012)

Cardona, D.M. y Sánchez, J.M., Indicadores Básicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educación a Distancia en Ambiente e-learning, Formación Universitaria, Vol. 3(6), 15-32 (2010)

Carrera, Á., Iglesias, C. A., García-Algarra, J., y Kolarík, D., A real-life application of multi-agent systems for fault diagnosis in the provision of an Internet business service, Journal of Network and Computer Applications, Vol. 37,pp. 146-154. doi:10.1016/j.jnca.2012.11.004 (2014)

Chen, C.-C. y Huang, T.-C., Learning in a u-Museum: Developing a context-aware ubiquitous learning environment, Computers & Education, ISSN: 0360-1315. doi:10.1016/j.compedu.2012.04.003. Vol. 59(3), pp. 873-883 (2012)

Gaeta, M., Orciuoli, F., Paolozzi, S., y Salerno, S., Ontology Extraction for Knowledge Reuse: The e-Learning Perspective. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, Vol. 41(4), pp. 798-809. doi:10.1109/TSMCA.2011.2132713 (2011)

Gómez, S., P. Zervas, D.G. Sampson y R. Fabregat, "Context-aware adaptive and personalized mobile learning delivery supported by UoLmP'. Journal of King Saud University - Computer and Information Sciences, 26(1), pp. 47-61 (2014)

Kinshuk, D. y G. Sabine Ubiquitous Learning, In N. M. Seel (Ed.), Encyclopedia of the Sciences of Learning. Boston, MA: Springer US. doi:10.1007/978-1-4419-1428-6 (2012)

Lee, H., Y Choi, y Y.-J. Kim, An adaptive user interface based on spatio-temporal structure learning, IEEE Communications Magazine, Vol. 49(6), 118-124 (2011)

Ovalle, D.A., O.M. Salazar y N.D. Duque, Modelo de Recomendación Personalizada en Cursos Virtuales basado en Computación Ubicua y Agentes Inteligentes, Revista de Información Tecnológica. Vol. 25(6), pp. 131-142 (2014)

Restrepo, S. E., J. E. Pezoa y D. A. Ovalle, An Adaptive Architecture for Ambient Intelligence Based on Meta-modeling, Smart Agents, and Wireless Sensor Networks, IEEE Latin America Transactions, Vol. 12, no. 8, pp. 1508-1514 (2014)

Restrepo, S. E., Modelo de Inteligencia Ambiental basado en la integración de Redes de Sensores Inalámbricas y Agentes Inteligentes, Tesis de Maestría. Universidad Nacional de Colombia - Sede Medellín (2012)

Rodríguez, P., Tabares, V., Duque, N., Ovalle, D. and Vicari, R. BROA: Multi-agent Model for Searching, Recovering, Recommendation and Evaluation of Learning Objects from Repository Federations. Advances in Artificial Intelligence - IBERAMIA 2012, vol. 7637, pp. 631-640, (2012)

Salazar, O. M, Modelo de Sistema Multi-Agente ubicuo, adaptativo y sensible al contexto para ofrecer recomendaciones personalizadas de recursos educativos basado en ontologías, Tesis de Maestría en Ingeniería de Sistemas, Universidad Nacional de Colombia - Sede Medellín (2015)

Salazar, O., Ovalle, D., & Duque, N. Adaptive and Personalized Educational Ubiquitous Multi-Agent System Using Context-Awareness Services and Mobile Devices, Lecture Notes in Computer Science - LNCS, Vol. 9192, P. Zaphiris and A. Ioannou (Eds.), Springer International Publishing Switzerland, pp. 301-312 (2015)

Tramullas, J., Sánchez-Casabón, A.-I., y Garrido-Picazo, P. An Evaluation based on the Digital Library user: An Experience with Greenstone Software, Procedia - Social and Behavioral Sciences, 73, 167-174. doi:10.1016/j.sbspro.2013.02.037 (2013)

Verbert, K., Manouselis, N., Ochoa, X., Wolpers, M., Drachsler, H., Bosnic, I., y Duval, E. Context-Aware Recommender Systems for Learning: A Survey and Future Challenges, IEEE Transactions on Learning Technologies, Vol 5(4), 318-335. doi:10.1109/TLT.2012.11 (2012)

Recibido Oct. 7, 2015; Aceptado Dic. 29, 2015; Versión final Feb. 15, 2016, Publicado Jun. 2016