Artículos
Recepción: 03 Julio 2022
Aprobación: 19 Septiembre 2022
Resumen: Los Cursos Masivos Abiertos y en Línea (MOOC) se han convertido en una tecnología disruptiva que ha buscado democratizar el acceso a la educación. Estos son cursos que se ofertan de forma abierta generalmente en alguna plataforma para MOOC como es Open edX. Estos cursos son tomados por cientos de miles de estudiantes, quienes lo siguen de forma autónoma, esto es, sin la presencia o guía de un docente. Cuando un MOOC se cierra para un número menor de estudiantes y se utiliza de forma privada integrándolo al currículo académico, se los conoce como Cursos Pequeños Privados en Línea (SPOC). Los SPOC, a diferencia de los MOOC, requieren la presencia y guía de un docente mientras los estudiantes toman el curso. Sin embargo, la plataforma Open edX carece de visualizaciones que asistan a estudiantes y docentes en la toma de decisiones durante el transcurso del curso. Es decir que el seguimiento y el monitoreo es escaso y limitado. Por este motivo, el presente trabajo propone desarrollar un componente denominado XBlock que implemente, por un lado, visualizaciones para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por otro lado, visualizaciones para docentes a fin de que puedan monitorear, hacer seguimiento y retroalimentar a los estudiantes en un SPOC. Para lograrlo se empleó la metodología adaptada de LATUX para la planificación, diseño e implementación de un XBlock y evaluación de las visualizaciones del dashboard. Como resultado de la evaluación, se evidenció que cerca del 80% de los estudiantes perciben al XBlock desarrollado como un estímulo positivo para redirigir el comportamiento de los estudiantes. Además, contribuye como un apoyo para los docentes al momento de diseñar estrategias de enseñanza que permitan hacer el monitoreo y retroalimentar de mejor manera a los estudiantes para que puedan terminar con éxito el curso.
Palabras clave: MOOC, indicadores, dashboard, SPOC, patrones de aprendizaje.
Abstract: Massive Open Online Courses (MOOCs) have become a disruptive technology that has aimed to democratize access to education. These are courses that are offered openly, generally on a MOOC platform such as Open edX. These are courses that are offered openly, generally on a MOOC platform such as Open edX, and are taken by hundreds of thousands of students autonomously (without the presence or guidance of a teacher). When a MOOC is closed to a smaller number of students and is used privately and integrated into the academic curriculum, it is known as a Small Private Online Course (SPOC). SPOCs, unlike MOOCs, require the presence and guidance of a teacher while students take the course. However, the Open edX platform lacks visualizations to assist students and teachers in making decisions during the course. In other words, follow-up and monitoring is scarce and limited. For this reason, the present work proposes to develop a component called XBlock that implements, on the one hand, visualizations for students in order to account for their learning process; and, on the other hand, visualizations for teachers so that they can monitor, follow up and give feedback to students in a SPOC. To achieve this, the methodology adapted from LATUX was used for the planning, design and implementation of an XBlock and also for the evaluation of the visualization of the dashboard. As a result of the evaluation, it was found that about 80% of the students perceive the developed XBlock as a positive stimulus to redirect student behavior. In addition, it contributes as a support for teachers when designing teaching strategies that allow them to monitor and provide better feedback to students so that they can successfully complete the course.
Keywords: MOOC, indicators, dashboard, SPOC, learning patterns.
Introducción
En la actualidad los usuarios al interactuar con los sistemas de información generan una gran cantidad de datos, dejando como resultado una huella digital (Ben Kei, 2016). En el sector educativo, en los últimos años, los Sistemas de Gestión de Aprendizaje (SGA) se han convertido en una fuente rica de datos, producto de las interacciones de los estudiantes con los recursos de un curso. Un ejemplo de esto, son los Cursos Masivos Abiertos y en Línea, conocidos en inglés como MOOC. Estos cursos atraen a una gran cantidad de estudiantes de todo el mundo (Shah, 2020). Sus altos niveles de aceptación en el ámbito mundial (antes y durante la pandemia) se ve reflejado en los más de 110 millones de estudiantes que se han registrado en alguno de los 13.5 mil MOOC según los datos del observatorio Class Central (Dhawal Shah, 2020). Este observatorio destaca a las plataformas comerciales Coursera y edX como las plataformas más populares y con la mayor cantidad de estudiantes.
Con el propósito de democratizar el acceso a los MOOC, la plataforma comercial edX liberó el código fuente de su plataforma abierta denominado Open edX, que cuenta con funcionalidad similar a la de la plataforma comercial edX para alojar y desplegar los MOOC. Esto ha permitido que distintas universidades empiecen a utilizar los MOOC de forma abierta como un servicio, como reemplazo de un curso regular, o de forma cerrada integrado al currículo académico bajo la figura de SPOC (Small Private Online Course en inglés). Los SPOC son cursos MOOC privados y se ofertan de manera exclusiva a estudiantes de una misma institución, logrando acceder a estos únicamente bajo invitación, pero a diferencia de un MOOC, en un SPOC se espera la presencia, la guía y retroalimentación de un profesor. La versión abierta Open edX es utilizada para desplegar cursos MOOC y SPOC, no obstante, Open edX no cuenta con el módulo de analítica denominado “Insights”, que sí viene integrada en la versión comercial edX.
Este módulo como novedad, permite visualizar a los docentes datos de los estudiantes como los demográficos, edad, sexo, nivel de formación entre otra información personal. Este tipo de datos que se presentan a manera de visualizaciones, resultan insuficientes para el caso de un SPOC. Los datos que provee Insights no son útiles para poder dar seguimiento a las actividades formativas o sumativas de los estudiantes por parte de los docentes (Torre et al., 2020). De hecho, las visualizaciones que se han implementado en Insights han sido catalogadas como muy básicas haciendo que surjan proyectos que traten de cubrir estas necesidades (Torre et al., 2020). Un ejemplo de lo anterior es el proyecto ANALISE (Antonaci et al., 2018). Este proyecto, incorpora visualizaciones con el objetivo de conocer las interacciones de cada estudiante dentro de la plataforma. Otro ejemplo es OXALIC, este proyecto provee de visualizaciones que se presentan solo a los docentes, pero únicamente sobre información general de los estudiantes y su progreso en el curso (Khalil & Belokrys, 2020).
Los proyectos antes mencionados aportan visualizaciones de manera general a los docentes sin que los estudiantes conozcan sobre su proceso de aprendizaje. Esto demuestra que existe aún la necesidad de poder contar con visualizaciones en Open edX, tanto para docentes como para los estudiantes en un SPOC, que den cuenta del proceso de enseñanza-aprendizaje de estos y que permitan a los docentes superar las limitaciones al momento de hacer un seguimiento y monitoreo de las actividades de los estudiantes. Como resultado de esta carencia, la retroalimentación en cursos SPOC es escaza y el apoyo a los estudiantes es casi nulo (Antonaci et al., 2018), limitando las posibilidades de los SPOC a un e-learning tradicional.
Por lo anterior, en este trabajo se propone desarrollar un componente denominado XBlock que implemente, por un lado, visualizaciones para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por otro lado, visualizaciones para docentes a fin de que puedan monitorear, hacer seguimiento y retroalimentar a los estudiantes en un SPOC. Para esto: (1) se parte del desarrollo de un análisis exploratorio sobre el comportamiento de los estudiantes en un SPOC para (2) determinar variables y secuencias de aprendizaje comunes; (3) se propone un diseño de un dashboard de visualizaciones para profesores y estudiantes a partir de las variables y secuencias detectadas; (4) se implementa el dashboard bajo la forma de un XBlock para la plataforma abierta Open edX que permita visualizar el comportamiento de los estudiantes; y (5) finalmente, se hace una evaluación local para analizar la usabilidad de las visualizaciones desarrolladas en el XBlock. Como resultado se evidenció un alto grado de aceptación y conformidad en el uso de las visualizaciones para la toma de decisiones por parte de estudiantes y docentes al utilizar el XBlock, así como también el interés por hacer seguimiento de su comportamiento a lo largo de las semanas mediante las visualizaciones del dashboard.
El artículo se encuentra estructurado de la siguiente manera: en la sección 2 se describe la metodología utilizada para el diseño, desarrollo y evaluación del dashboard desarrollado en el XBlock. La sección 3 presenta la discusión de los resultados de evaluación. Finalmente, la sección 4 presenta las principales conclusiones.
Metodología
Para el desarrollo del XBlock para la plataforma Open edX se ha empleado la metodología adaptada de LATUX (Learning Awareness Tool – User eXperience) (Martinez-Maldonado et al., 2016). Esta metodología ha sido seleccionada debido a que es útil en los contextos donde se diseñe e implemente herramientas que mejoren la entrega de información en entornos de aprendizaje virtual. Las cinco etapas con las que cuenta la metodología se agrupan bajo 2 enfoques: el primer enfoque se centra en la identificación del problema y sus indicadores; y el segundo enfoque aborda las etapas de planificación, diseño, implementación y evaluación. La Figura 1 presenta los pasos de la metodología adaptada de LATUX.
Etapa 1: Análisis exploratorio de las interacciones de los estudiantes
La exploración de los datos juega un papel importante al momento de analizar las interacciones de los estudiantes con los recursos de un SPOC (Purwoningsih et al., 2019). Este paso también es conocido como EDA .Exploratory Data Analysis - por sus siglas en inglés) y su objetivo es develar comportamientos y patrones de aprendizaje de los estudiantes, que luego pueden transformarse en recomendaciones que apoyen a los estudiantes a tener éxito en el curso. En esta primera etapa de la metodología, se extraen variables e indicadores que estén relacionados con la terminación del SPOC por parte de los estudiantes.
Como punto de partida, se utilizaron los datos de un curso SPOC utilizado en una universidad durante un semestre. A partir de los datos de este curso, se realizó un análisis de necesidades de los involucrados en el curso. Para esto se toma como referencia el trabajo de (Maldonado et al., 2016), quienes recomiendan utilizar entrevistas, grupos focales o encuestas para recabar información y entender el contexto de los involucrados. Para esto es posible utilizar como guía las siguientes preguntas:
· ¿Quiénes son los interesados?
· ¿Cuáles son las necesidades de los interesados?
· ¿Qué fuentes de datos se dispone?
· ¿Cuál es el contexto de aprendizaje?
· ¿Qué herramientas de Analítica de Aprendizaje se dispone?
· ¿Cómo están los datos siendo obtenidos, usados, compartidos y almacenados?
Como resultado de este análisis, se identificaron características a ser implementadas a través de visualizaciones que apoyen a los estudiantes y a los docentes en un SPOC, y que están relacionadas con (i) conocer cuál es su situación actual dentro del curso, ya que esto le permite poder tomar decisiones para corregir o reforzar su proceso de aprendizaje; (ii) la necesidad de contrastar su rendimiento con otros compañeros dentro del mismo curso, esto como una motivación a mejorar o mantenerse dentro de aquel porcentaje de estudiantes que están teniendo éxito; (iii) el nivel de compromiso que pueden adquirir los estudiantes al interactuar con los recursos dentro de un curso.
Este nivel de compromiso ha sido estudiado y organizado en tres dimensiones, tales como, medidas de comportamiento, medidas cognitiva y medidas emocionales (Perez-Alvarez et al., 2020). Es así, que se evidencia el interés de estudiantes y docentes por (iv) conocer acerca de la frecuencia con la que son accedidas las lecturas, videos y problemas dentro de un curso. Además, de analizar la (v) interacción de los estudiantes entre sí dentro de los foros del curso. Otro punto importante es el (vi) tiempo invertido en las actividades, así como también el rendimiento, el cual es evidenciado a través de la (vii) cantidad de recursos que completan dentro de la plataforma.
Como siguiente paso, para llegar a comprender el comportamiento de los estudiantes dentro de los SPOC, es importante conocer acerca de sus secuencias de interacción durante el proceso de aprendizaje. Vermunt en su estudio (Vermunt & Donche, 2017), explica que, una secuencia de aprendizaje se conceptualiza como un conjunto coherente de actividades (secuencias o conjunto de interacciones) que suelen emplear los estudiantes. Estas secuencias pueden ser capturadas a través del análisis de logs de datos que contengan las interacciones de los estudiantes con los recursos digitales del curso. Para esto, el uso de técnicas de minería de procesos sobre los datos educativos permiten construir de manera visual los caminos o trayectorias utilizadas por los estudiantes mientras siguen el curso (Boroujeni & Dillenbourg, 2018). Para lograrlo, se utilizó los datos que se almacenan en Open edX de un SPOC y se extrajo un log de eventos que fue procesado empleando el software Disco (ver Tabla 1). Como resultado se obtuvo un modelo de procesos (Figura 2) que representa las principales trayectorias seguidas por los estudiantes en un SPOC.
Por medio del análisis del modelo de procesos generado se identificaron las secuencias de aprendizaje principales de todos los estudiantes (ver Figura 2). Como resultado se pudo observar que los estudiantes: (1) inician con las video-lecturas del curso, las completan, luego se mantienen en un bucle de interacciones entre completar los problemas propuestos y regresar a visualizar problemas antes desarrollados, para luego finalizar su sesión de trabajo; (2) en la segunda secuencia que se puede identificar que los estudiantes inician completando las video-lecturas y luego regresan a consultarlas antes de avanzar a completar los problemas propuestos.
Estas secuencias de aprendizaje son las más comunes que realizan los estudiantes y se puede observar también que los estudiantes no revisan todas las video-lecturas y tampoco desarrollan las evaluaciones propuestas (lo cual es un comportamiento no esperado, pues las evaluaciones se deben de realizar una vez que terminen las video-lecturas) debido a esto es que se pudo observar que los estudiantes repiten los problemas de las evaluaciones.
Una vez identificadas estas secuencias de interacciones de los estudiantes, sobre los modelos de procesos obtenidos se empleó la técnica de clustering o agrupamiento para clasificar a los estudiantes en grupos dependiendo sus secuencias o trayectorias de aprendizaje. Como resultado se observaron tres grupos que caracterizan el comportamiento de los estudiantes en un SPOC. En el primer grupo, están los estudiantes que trabajaron solo con las evaluaciones propuestas y no tuvieron interacciones con las video-lecturas del curso u otro tipo de actividades. Este patrón concuerda con el identificado en el trabajo de (Maldonado-Mahauad et al., 2018), donde denomina a este tipo de estudiantes como estratégicos u orientados a los objetivos personales. Este tipo de estudiantes tienden a centrar sus esfuerzos en pasar las evaluaciones a fin de certificar o probar sus conocimientos.
En el segundo grupo, se observaron estudiantes exploradores (Maldonado-Mahauad et al., 2018). Este grupo de estudiantes se caracterizan por que sus interacciones son muy cortas (de pocos segundos, por ende, las sesiones de estudio son cortas), no completan las evaluaciones ni problemas propuestos, y las interacciones con los recursos del curso son erráticas. Finalmente, en el tercer grupo, se identificó a los estudiantes “comprensivos” (Maldonado-Mahauad et al., 2018). Este grupo se encuentra compuesto por los que realizan todas las video-lecturas y problemas propuestos, son los que mayor cantidad de interacciones tienen con los recursos del curso y siguen la trayectoria instruccional propuesta por el curso. Además, estos estudiantes exhiben un mayor nivel de compromiso para terminar con éxito el curso.
Como resultado de esta primera etapa, se extrajeron las características que tanto docentes como estudiantes indicaron debe tener un dashboard de visualizaciones. Por otro lado, también se ha extraído de los datos, las secuencias de aprendizaje de los estudiantes en un SPOC, logrando develar los tipos de interacciones más comunes y que permiten clasificar a los estudiantes en tres grupos.
Identificación de variables
En esta segunda etapa se identificaron indicadores y variables relacionados al éxito académico de estudiantes en SPOC, con el objetivo de incorporarlos en el diseño de las visualizaciones del componente XBlock. Los indicadores y variables seleccionadas que se muestran en la Tabla 2, resultaron del análisis de la etapa 1. Estos indicadores y variables fueron mapeados con los indicadores que se proveen en la base de datos de Open edX, con el fin de poder entender si era posible extraerlos de manera directa o se requerían cálculos o integraciones de datos intermedios.
Planificación y Diseño
En esta tercera etapa, como primer paso, se analizaron dashboards desarrollados por diferentes proyectos. Por ejemplo, ANALISE y OXALIC (Khalil & Belokrys, 2020; Ruipérez-Valiente et al., 2017). Estos proyectos han desarrollado sus propios dashboards para ser utilizados en la plataforma Open edX. Estos proyectos se enfocan en el proceso de aprendizaje de los estudiantes dentro de un curso, para luego mostrar esta información a los profesores mediante visualizaciones. Estas permiten (1) visualizar métricas acerca de la inscripción de los estudiantes; (2) el seguimiento de las actividades de los estudiantes; y (3) visualizar el conteo de las interacciones de los estudiantes con el contenido del curso.
Como segundo paso, se hizo uso de la guía para la elección de visualizaciones para dashboards de aprendizaje denominada “Linking dashboard design and data visualization concepts” (Sedrakyan et al., 2019). Esta guía presenta una metodología que se enfoca en los siguientes aspectos al momento de elegir las visualizaciones más adecuadas al construir un dashboard: (a) objetivos y necesidades de los interesados; (b) fuente de los datos; (c) retroalimentación y autorregulación del aprendizaje; y (4) facilidad para mostrar el progreso del proceso de aprendizaje.
Como resultado, tomando como base el análisis exploratorio de las interacciones de los estudiantes realizado en la etapa 1 y siguiendo la guía para la elección de visualizaciones, se determinó que estudiantes y docentes tienen la necesidad de: (a) conocer sobre de la frecuencia con la que se interactúa un estudiante con los recursos del curso; (b) requieren evidenciar el tiempo invertido en semanas; (c) identificar las brechas entre el estado actual y el estado deseado de los estudiantes con respecto a la comparación con el promedio de sus compañeros dentro de un curso (Schunk & Zimmerman, 2012); y (d) facilitar la comparación del proceso de aprendizaje en periodos de tiempo uniforme, comúnmente dividido en semanas (Ramesh et al., 2014). Esto ha servido para implementar diferentes visualizaciones que se describen en la siguiente etapa.
Implementación
En esta cuarta etapa, se implementa la arquitectura del XBlock junto con las visualizaciones para docentes y estudiantes. Las tecnologías empleadas en el XBlock para la plataforma Open edX son las mismas que se usa en las aplicaciones web, donde se tienen múltiples componentes de manera independiente para ser mostrados en una sola página web (edX Inc, 2021). Las aplicaciones de tipo Web que implementen XBlock API son consideradas XBlocks en entorno de ejecución (edX Inc, 2021). Estas aplicaciones pueden componerse de una o varias páginas Web. Además cuentan con una capa de almacenamiento para mantener su estado, controladores para procesar las acciones del usuario y además cuentan con vistas para poder ser renderizadas (edX Inc, 2021).
La representación gráfica de la arquitectura propuesta con todas las capas antes mencionadas se muestra en la Figura 3. La primera capa de la arquitectura propuesta para el XBlock denominado XLEA (XBlock for LEarning Analytics) presenta la parte visual. En esta primera capa es donde los estudiantes y los profesores interactúan con las visualizaciones, y está compuesta por HTML, CSS y Javascript, esta aplicación integra XBlock API para poder acceder a la configuración con la que cuenta la plataforma de Open edX.
La segunda capa de la arquitectura facilita la comunicación con el código base de la plataforma de Open edX por medio del XBlock Runtime. En esta capa es donde el LMS y CMS requiere que los XBlocks tengan las siguientes propiedades: (1) tener un método de la vista denominado student_view que en el caso del LMS, esta se pueda interactuar, mientras que, en el CMS el instructor pueda configurar; (2) tener una propiedad llamada has_score con un valor de True si el XBlock permite realizar calificaciones, caso contrario este valor deberá ser configurado como False. Finalmente, la tercera capa de la arquitectura propuesta es la comunicación con los sistemas de persistencia de base de datos para recuperar la información almacenada.
La comunicación con las bases de datos tanto de MySQL como de MongoDB se realiza por medio del XBlock Runtime que permite acceder en tiempo de ejecución a los datos almacenados y poder comunicar con las capas superiores. En esta capa es donde el XBlock puede acceder a la información procesada de la interacción de los estudiantes, pues previamente se ha almacenado en la base de datos de MySQL, empleando el script desarrollado.
Empleando la arquitectura antes mencionada, en el XBlock a desarrollar se incorporan funcionalidades adicionales a las ya existentes dentro de la plataforma Open edX. De esta manera tanto los estudiantes y docentes pueden tomar decisiones informadas a base de la información mostrada en el dashboard. Las funcionalidades que brinda el componente desarrollado son (1) Vista general de las interacciones de los estudiantes con los recursos que se encuentran dentro del curso; (2) Medir y comparar los logros conseguidos de un estudiante con la media del curso; y (3) Comparación del tiempo dedicado por un estudiante con el tiempo promedio que ocupan los estudiantes en una semana de actividades en la plataforma.
Como resultado, las visualizaciones implementadas en el XBlock cuentan con dos tipos de vistas, la del estudiante y la del docente. Las visualizaciones se diseñaron a base de los objetivos y requerimientos tomando en cuenta los indicadores obtenidos en las etapas anteriores. En la vista del estudiante se muestran gráficas que presentan el rendimiento general de los estudiantes por semanas. Los indicadores que se utilizaron para el diseño de este gráfico fueron la cantidad de recursos a los que ha accedido el estudiante a lo largo de una semana, es decir, lecturas, videos, foros y exámenes, tal como se lo muestra en la Figura 4.
Adicionalmente en la Figura 5 se compara el rendimiento individual del estudiante contra el rendimiento del curso en promedio, con el fin de dar a los estudiantes información acerca del estado de su proceso de aprendizaje. Y por último se muestran indicadores relacionados a la cantidad de recursos completados por el estudiante a lo largo del curso en la Figura 6.
Para la vista del docente las visualizaciones se diseñaron a base del promedio de las interacciones de todos los estudiantes del curso. En la Figura 7 se muestran los recursos completados por semanas de todos los estudiantes del curso, separados en lecturas, videos, foros y problemas.
Las sesiones en promedio por semana y su duración, así también la cantidad de recursos accedidos en promedio por semana de todos los estudiantes del curso se muestra en la Figura 8.
Finalmente, en la Figura 9 se muestra una tabla con las estadísticas individuales de cada estudiante del curso. Se incluyen indicadores como el número de recursos accedidos, lecturas, videos, problemas, foros, número de sesiones y el tiempo invertido en el curso.
Evaluación
Como última etapa de la metodología LATUX empleada en este trabajo, se realizó la evaluación del componente XBlock. Para la evaluación se hizo uso del cuestionario Evaluation Framework for Learning Analytics (EFLA) (Scheffel et al., 2017). Mientras que para la evaluación de la experiencia de usuario al usar el dashboard, se utilizó el cuestionario User Experience Questionarie (UEQ) (Laugwitz et al., 2008).
Participantes
La evaluación de las visualizaciones incorporadas en el XBlock fue realizada por estudiantes y profesores de la Universidad de Cuenca (muestreo a conveniencia). Los participantes tuvieron acceso completo a todas las visualizaciones, tomando en cuenta su rol dentro de la plataforma, se proporcionará el cuestionario respectivo. La cantidad de participantes seleccionados son 14, de los cuales 10 son estudiantes; y los 4 profesores que participaron en la evaluación de igual manera han tenido experiencia en impartir cursos MOOC.
Instrumentos
Se seleccionó el cuestionario de evaluación EFLA, cuyo objetivo es permitir entender desde la perspectiva del estudiante y del docente la significancia de las visualizaciones que se presentan para la toma de decisiones. Este cuestionario cuenta con dos versiones una para profesores (https://forms.gle/1uMg9FSHj4jTcicYA) y otra para estudiantes (https://forms.gle/P18rwhyXLX45vC3Y6).
Las preguntas que se deben de responder están en una escala del 1 al 10, donde el 10 es el valor de mayor importancia mientras que el valor 1 es de menor importancia. Este cuestionario cuenta con tres dimensiones las mismas que se muestran en la Tabla 3 y para obtener cada uno de los valores de cada dimensión se tiene que usar la ecuación (1).
El otro cuestionario empleado fue el UEQ que es ampliamente usado para medir la impresión subjetiva que tienen los usuarios sobre la calidad y usabilidad en los productos de software (Schrepp et al., 2017). El cuestionario empleado (https://forms.gle/TDfnch3QisUct2Ce9) tiene una escala de Likert para medir las reacciones, actitudes y comportamientos de las personas donde 1 es totalmente en desacuerdo y 5 totalmente de acuerdo; se ha seleccionado esta escala debido a que a diferencia de las preguntas de si/no está permite tener una mayor libertad en calificar las respuestas (Nemoto & Beglar, 2014). Los factores empleados para medir la experiencia que tiene el usuario con el producto de software se muestran a continuación:
· Atractivo: Impresión general del producto. ¿A los usuarios les gusta o disgusta el producto?
· Claridad: ¿Es fácil familiarizarse con el producto? ¿Es fácil aprender a usar el producto?
· Eficiencia: ¿Pueden los usuarios resolver sus tareas sin esfuerzo innecesario?
· Confianza: ¿Se siente el usuario en control de la interacción?
· Estímulo: ¿Es emocionante y motivador usar el producto?
· Novedad: ¿Es el producto innovador y creativo? ¿El producto capta el interés de los usuarios?
Resultados
Los resultados de la evaluación de los estudiantes y profesores empleando el cuestionario EFLA se muestran en la Tabla 4. En esta tabla se presentan los resultados al emplear la formula (1) en cada una de las dimensiones analizadas tanto para los profesores como para los estudiantes.
Enfocándonos en los resultados de EFLA aplicado a estudiantes (n= 14), las dimensiones de evaluación mantienen un puntaje por arriba de los 77/100 puntos (77%), esto demuestra que la herramienta XBlock presenta de manera sencilla y clara los datos en sus visualizaciones, de la misma forma, los estudiantes se sienten motivados a reflexionar acerca de su comportamiento y proceso de aprendizaje. De igual manera los resultados del EFLA aplicado a docentes, se observa que las dimensiones de evaluación mantienen valores por encima de los 77/100 puntos (77%), destacando con 80 puntos la dimensión de datos. Este resultado indica que los docentes entienden de qué manera se recopilan y muestran los datos acerca de las interacciones de los estudiantes, permitiéndoles reflexionar acerca de su método de enseñanza y en cómo pueden mejorar en el proceso.
Los resultados de la evaluación empleando el cuestionario UEQ (Tabla 5)para medir la experiencia del usuario muestra que la mitad de los participantes (n= 14) están de acuerdo que las visualizaciones les han parecido atractivas. El 80% de los participantes está de acuerdo que el dashboard presenta las visualizaciones de forma ordenada y fácil de entender por lo que no tuvieron la necesidad de aprender alguna herramienta para su uso. El 70% de los participantes están de acuerdo que el dashboard les permite tener un control sobre su proceso de aprendizaje y en igual medida de participantes indican haber tenido interés luego de usarla. El 60% de los participantes están dispuestos a seguir usando la herramienta mientras que el 40% restante tenía dudas, esto se puede deber al margen de mejora que existe en las visualizaciones del dashboard según la retroalimentación de los participantes.
Discusión de los Resultados
En otros trabajos, como es el caso de ANALIZE, los autores obtuvieron resultados positivos luego de evaluar su herramienta de analíticas de aprendizaje con una escala de usabilidad del sistema (SUS) de 78/100 puntos (Ruipérez-Valiente et al., 2017). Estos resultados evidencian la necesidad de los estudiantes por utilizar herramientas que den soporte a la toma de decisiones a través de las LA, lo cual se contrasta con los resultados de nuestro trabajo, donde el 80% de los participantes afirman la importancia y necesidad del uso de este tipo de herramientas.
Adicionalmente, se añadió una sección de sugerencias en el cuestionario UEQ, del cual se pudieron identificar mejoras para nuestro dashboard de analíticas de aprendizaje. Estas mejoras pueden resumirse en los siguientes puntos: (1) Debería incluirse una descripción de las funcionalidades de la herramienta, de manera que quede claro lo que se puede obtener de la misma; (2) Se podría añadir más información para contextualizar un escenario donde se explique los recursos accedidos por los estudiantes no sólo son videos e información, sino también cuando el estudiante aprueba o reprueba un examen. De esta forma, el docente puede percibir los resultados como una retroalimentación de qué temas se puede reforzar para mejorar el proceso de enseñanza-aprendizaje; (3) con respecto a pequeños detalles de la interfaz, la tabla de estadísticas debería indicar claramente las unidades de las columnas, por ejemplo, cantidad, tiempo, etc. De igual manera, se debería poder acceder a la información de semanas previas. (4) Pequeños cambios en los tipos de letras, tamaños, colores, cabeceras de las tablas, que podrían mejorar la experiencia de usuario.
Conclusiones
En este trabajo se ha presentado el desarrollo de un componente XBlock que implementa, por un lado, visualizaciones para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por otro lado, visualizaciones para docentes a fin de que puedan monitorear, hacer seguimiento y retroalimentar a los estudiantes en un SPOC. Para esto se ha utilizado la metodología de 5 etapas propuesta por LATUX (Learning Awareness Tool – User eXperience) (Martinez-Maldonado et al., 2016) donde (1) se parte del desarrollo de un análisis exploratorio sobre el comportamiento de los estudiantes en un SPOC para (2) identificar variables y secuencias de aprendizaje comunes; (3) se propone un diseño de un dashboard de visualizaciones para profesores y estudiantes a partir de las variables y secuencias detectadas; (4) se implementa el dashboard bajo la forma de un XBlock para la plataforma abierta Open edX que permita visualizar el comportamiento de los estudiantes; y (5) finalmente se hace una evaluación local para evaluar la significancia de las visualizaciones que se presentan para la toma de decisiones; y evaluar la usabilidad de las visualizaciones desarrolladas en el XBlock. Como resultado se evidencia un alto grado de aceptación y conformidad en el uso de las visualizaciones para la toma de decisiones por parte de estudiantes y docentes al utilizar el XBlock, también el interés por hacer seguimiento de su comportamiento a lo largo de las semanas mediante las visualizaciones del dashboard.
Como resultado de la evaluación, los participantes, en sus respuestas evidenciaron el interés por el uso de esta herramienta que brinde soporte a los estudiantes y docentes de un curso. Cerca del 80% de los participantes perciben al XBlock como un estímulo positivo para redirigir su comportamiento y estrategias de aprendizaje o enseñanza hacia el éxito académico dentro del curso. Sin embargo, existen participantes que aseguran que el dashboard puede mejorar su experiencia de usuario añadiendo descripciones y elementos que guíen a aquellos que no han tenido experiencia previa en el manejo de dashboards de LA. En la retroalimentación brindada por los participantes, un 20% expresa que los gráficos deberían cambiar ciertos detalles como colores, tamaños y tipos de letras. Tales observaciones están relacionadas con la experiencia de usuario, mientras que, cerca del 80% están de acuerdo en qué el dashboard cumple con su objetivo y les permite conocer acerca de su estado actual de aprendizaje o enseñanza con el fin de modificar sus estrategias y comportamiento para alcanzar el éxito académico.
A pesar de esto, existe un alto grado de aceptación y conformidad por parte de los participantes. La mayoría se enfoca en aquellas visualizaciones que permiten tener una comprensión del comportamiento histórico por semanas de las diferentes actividades que desempeñan dentro del curso, por ejemplo, videos, lecturas y problemas. Finalmente, en este trabajo se ha demostrado que es posible crear un XBlock dentro de la plataforma Open edX que, partiendo de las necesidades de los involucrados, permitan tanto a estudiantes y profesores mejorar su proceso de aprendizaje y enseñanza dentro de un SPOC. Adicionalmente, se ha puesto en evidencia la necesidad de los estudiantes por dashboards como el desarrollado en este XBlock que les ofrezcan visualizaciones sobre su comportamiento de aprendizaje que antes solo estaban disponibles para los docentes.
El alcance del estudio está limitado al análisis del comportamiento de los estudiantes a través de visualizaciones que incorporen indicadores de éxito estudiantil en cursos de la plataforma Open edX. Los resultados obtenidos en este estudio pueden abrir nuevas líneas de investigación centrándose en el mejoramiento y rediseño de material educativo en cursos ofertados en esta plataforma. Otra línea de investigación podría centrarse en el procesamiento de los logs de eventos que generan los estudiantes en la plataforma Open edX, ya que actualmente resulta complicado procesar esta información debido a la falta de una estructura concisa y estable de los datos en las diferentes versiones que maneja la plataforma. Finalmente, existe margen de mejora relacionado al diseño de visualizaciones de LA dentro de los MOOC, el cual es un área sujeta a cambios e innovaciones.
Agradecimientos
Este trabajo tiene el apoyo académico del proyecto de investigación “Analítica del aprendizaje para el estudio de estrategias de aprendizaje autorregulado en un contexto de aprendizaje híbrido”, del director del proyecto Ing. Jorge Maldonado Mahauad, PhD. docente de la Facultad de Ingeniería de la Universidad de Cuenca. Adicionalmente, se agradece al Vicerrectorado de Investigación de la Universidad de Cuenca por proveer los datos de estudiantes de 4 MOOC que se utilizaron para este estudio. También se agradece a la Corporación Ecuatoriana para el Desarrollo de la Investigación y Academia (CEDIA) por facilitar el uso de infraestructura necesaria para desplegar un ambiente de producción del dashboard XLEA.
Referencias
Antonaci, A., Klemke, R., Kreijns, K., & Specht, M. (2018). Get Gamification of MOOC right! International Journal of Serious Games, 5(3), 61–78. https://doi.org/10.17083/ijsg.v5i3.255
Ben Kei, D. (2016). Overview of big data and analytics in higher education. In Big Data and Learning Analytics in Higher Education: Current Theory and Practice (pp. 1–4). Springer International Publishing. https://doi.org/10.1007/978-3-319-06520-5_1
Boroujeni, M. S., & Dillenbourg, P. (2018). Discovery and temporal analysis of latent study patterns in MOOC interaction sequences. ACM International Conference Proceeding Series, 206–215. https://doi.org/10.1145/3170358.3170388
Dhawal Shah. (2020, November 30). MOOCs in 2020. https://www.classcentral.com/report/mooc-stats-2020/
edX Inc. (2021). Introduction to XBlocks. https://edx.readthedocs.io/projects/xblock-tutorial/en/latest/overview/introduction.html
Khalil, M., & Belokrys, G. (2020). OXALIC: An Open edX Advanced Learning Analytics Tool. Proceedings of 2020 IEEE Learning With MOOCS, LWMOOCS 2020, 185–190. https://doi.org/10.1109/LWMOOCS50143.2020.9234322
Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction and evaluation of a user experience questionnaire. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 5298 LNCS, 63–76. https://doi.org/10.1007/978-3-540-89350-9_6
Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F., Morales, N., & Munoz-Gama, J. (2018). Mining theory-based patterns from Big data: Identifying self-regulated learning strategies in Massive Open Online Courses. Computers in Human Behavior, 80, 179–196. https://doi.org/10.1016/j.chb.2017.11.011
Maldonado, J. J., Palta, R., Vazquez, J., Bermeo, J. L., Perez-Sanagustin, M., & Munoz-Gama, J. (2016). Exploring differences in how learners navigate in MOOCs based on self-regulated learning and learning styles: A process mining approach. Proceedings of the 2016 42nd Latin American Computing Conference, CLEI 2016. https://doi.org/10.1109/CLEI.2016.7833356
Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef, K., Kay, J., & Clayphan, A. (2016). LATUX: an Iterative Workflow for Designing, Validating and Deploying Learning Analytics Visualisations. Journal of Learning Analytics, 2(3), 9–39. https://doi.org/10.18608/jla.2015.23.3
Nemoto, T., & Beglar, D. (2014). c. JALT2013 Conference Proceedings, 1–8. https://dl.ndl.go.jp/info:ndljp/pid/8815334?itemId=info%3Andljp%2Fpid%2F8815334&__lang=en
Perez-Alvarez, R. A., Maldonado-Mahauad, J., Sharma, K., Sapunar-Opazo, D., & Perez-Sanagustin, M. (2020). Characterizing Learners’ Engagement in MOOCs: An Observational Case Study Using the NoteMyProgress Tool for Supporting Self-Regulation. IEEE Transactions on Learning Technologies, 13(4), 676–688. https://doi.org/10.1109/TLT.2020.3003220
Purwoningsih, T., Santoso, H. B., & Hasibuan, Z. A. (2019). Online Learners’ Behaviors Detection Using Exploratory Data Analysis and Machine Learning Approach. Proceedings of 2019 4th International Conference on Informatics and Computing, ICIC 2019. https://doi.org/10.1109/ICIC47613.2019.8985918
Ramesh, A., Goldwasser, D., Huang, B., Daume, H., & Getoor, L. (2014). Learning latent engagement patterns of students in online courses | Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. ACM Digital Library, 1272–1278. https://dl.acm.org/doi/abs/10.5555/2893873.2894071
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Pijeira Díaz, H. J., Ruiz, J. S., & Kloos, C. D. (2017). Evaluation of a learning analytics application for open edX platform. Computer Science and Information Systems, 14(1), 51–73. https://doi.org/10.2298/CSIS160331043R
Scheffel, M., Niemann, K., & Jivet, I. (2017). The Evaluation Framework for Learning Analytics.
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017). Design and Evaluation of a Short Version of the User Experience Questionnaire (UEQ-S). International Journal of Interactive Multimedia and Artificial Intelligence, 4(6), 103. https://doi.org/10.9781/IJIMAI.2017.09.001
Schunk, D. H., & Zimmerman, B. J. (2012). Motivation and self-regulated learning: Theory, research, and applications. Motivation and Self-Regulated Learning: Theory, Research, and Applications, 1–417. https://doi.org/10.4324/9780203831076
Sedrakyan, G., Mannens, E., & Verbert, K. (2019). Guiding the choice of learning dashboard visualizations: Linking dashboard design and data visualization concepts. Journal of Computer Languages, 50, 19–38. https://doi.org/10.1016/J.JVLC.2018.11.002
Shah, D. (2020). By The Numbers: MOOCs in 2020 — Class Central. https://www.classcentral.com/report/mooc-stats-2020/
Torre, M. V., Tan, E., & Hauff, C. (2020). EdX log data analysis made easy: Introducing ELAT: An open-source, privacy-aware and browser-based edX log data analysis tool. ACM International Conference Proceeding Series, 502–511. https://doi.org/10.1145/3375462.3375510
Vermunt, J. D., & Donche, V. (2017). A Learning Patterns Perspective on Student Learning in Higher Education: State of the Art and Moving Forward. Educational Psychology Review, 29(2), 269–299. https://doi.org/10.1007/s10648-017-9414-6
