Introducción

La incorporación de la tecnología digital en el ámbito de la educación universitaria ha transformado profundamente la experiencia del estudiante, modificando las estructuras tradicionales de enseñanza y aprendizaje. Este cambio apunta a la necesidad de adoptar nuevas estrategias pedagógicas que complementen la tecnología con métodos de enseñanza para mejorar el proceso educativo (Pérez-Sanagustín, et al., 2022). Sin embargo, la mera presencia de la tecnología en el aula no garantiza por sí sola un avance educativo significativo (Sosa, 2017). Por lo tanto, es necesario que su integración facilite el acercamiento de los profesores a los estudiantes de una manera más significativa, fomentando un entorno educativo que incentive tanto la participación emocional como intelectual de los estudiantes con su proceso educativo (Bond, et al., 2020). En este contexto, surge una preocupación central entre los docentes, y es la disminución del compromiso (engagement, en inglés) de los estudiantes en el aula, ya sea presencial (es decir, cara a cara) o a distancia (es decir, en línea) (Imlawi, 2021). El engagement de los estudiantes juega un papel crucial en el proceso de enseñanza y aprendizaje de los estudiantes. Según una investigación reciente (Anand, 2023), el nivel de engagement es un indicador clave del rendimiento académico, el desarrollo cognitivo e incluso es un predictor de la deserción estudiantil. Un alto grado de compromiso significa que los estudiantes están involucrados emocional y cognitivamente en su aprendizaje (Anand, 2023). Esto se traduce en una mayor motivación, participación en el aula y un mejor rendimiento académico.

El papel del docente es fundamental para promover este compromiso (Anand, 2023), donde la integración efectiva de las tecnologías digitales en el aula puede servir como una herramienta valiosa para capturar datos sobre el compromiso (engagement, en inglés) de los estudiantes, ofreciendo a los profesores la oportunidad de diseñar o rediseñar sus prácticas pedagógicas a partir de la evidencia de datos (Sosa, 2017). De esta manera, se pueden promover estrategias más efectivas y adaptadas a las necesidades de los estudiantes. Para contribuir al campo de estudio, este artículo presenta MoTE (Monitoring sTudent Engagement), diseñada para supervisar la implicación/compromiso de los estudiantes y diseñada para superar las limitaciones de las herramientas existentes y proporcionar una herramienta que abarque las necesidades tanto de los profesores como de los estudiantes. MoTE aborda la necesidad de monitorear y fomentar la participación de los estudiantes, destacando su importancia para el éxito académico. Para lograrlo, este artículo explora diversas definiciones y modelos de participación estudiantil que ponen de manifiesto su complejidad y la variedad de factores que influyen en ella, desde la participación en el aprendizaje hasta el bienestar emocional y la participación conductual en el entorno educativo. Además, este artículo examina las técnicas y herramientas informáticas existentes diseñadas para evaluar y monitorear la participación de los estudiantes, que han servido como innovaciones tecnológicas que han dado forma a la forma en que los educadores e investigadores abordan la participación de los estudiantes. También se presenta el proceso de diseño e implementación seguido que puede servir de guía para el desarrollo de innovaciones educativas y que se logre su adopción en los contextos educativos.

Este documento está organizado de la siguiente manera. En la sección 2 se presenta el trabajo relacionado y las preguntas de investigación; en la sección 3 se describe la metodología utilizada y cómo se diseñó, implementó y evaluó (por estudiantes) la herramienta. En la sección 4 se presenta un resumen de las principales conclusiones y las líneas de trabajo futuras.

Trabajo Relacionado

Definición de Compromiso Estudiantil

Varios investigadores han ofrecido varias definiciones de la participación de los estudiantes. Por ejemplo, autores como Fredricks, et al. (2004) mencionan que el engagement suele entenderse como el grado de implicación y esfuerzo que los estudiantes invierten en su aprendizaje. Según Zapata (2018), el compromiso estudiantil se define como la participación activa de los estudiantes en las actividades académicas. Por su parte, Barkley (2010) describe el compromiso en un contexto universitario como un resultado dinámico, que se experimenta de manera continua y emerge de la interacción entre la motivación y el aprendizaje activo. Para los propósitos de este trabajo, la participación de los estudiantes se conceptualiza como el nivel de energía y esfuerzo que estos dedican a su entorno de aprendizaje (Bond, 2020). Esta definición de participación estudiantil es amplia, abarcando aspectos cognitivos, emocionales y conductuales, con un enfoque en la atención, la participación y la motivación de los estudiantes. La dimensión cognitiva del compromiso se refiere a los procesos mentales y actividades asociadas con el aprendizaje y la comprensión, lo que implica que los estudiantes participen en la construcción de significados, el razonamiento crítico y la resolución de problemas. Un estudiante comprometido cognitivamente muestra altos niveles de atención y concentración en las tareas académicas, además de un deseo de adquirir nuevos conocimientos y habilidades (Bond, 2020). La dimensión emocional del compromiso se centra en las respuestas afectivas de los estudiantes hacia su entorno educativo, incluyendo profesores, compañeros, estudios y la institución educativa en general. Esto abarca sentimientos de conexión emocional, satisfacción y bienestar en relación con el aprendizaje y la experiencia académica. Los estudiantes comprometidos afectivamente muestran entusiasmo, interés y una actitud positiva hacia el proceso de aprendizaje. Finalmente, la dimensión conductual del compromiso se refiere a las acciones y comportamientos observables de los estudiantes en el entorno educativo, como la participación en actividades de aprendizaje, la interacción con compañeros y profesores, y la asistencia regular a clases. Los estudiantes comprometidos conductualmente demuestran un alto nivel de participación y dedicación en su proceso educativo.

Modelos para Estudiar el Engagement Estudiantil

El engagement de los estudiantes se desarrolla con la intención de optimizar su aprendizaje y analizar su relación con la deserción y la culminación exitosa de sus estudios (Reschly, et al., 2012). Actualmente, el engagement se entiende como un concepto multidimensional que incorpora diferentes perspectivas, como la emocional, la conductual y la cognitiva, entre otras. Los modelos que se presentan a continuación ofrecen distintos marcos para entender cómo y por qué los estudiantes se involucran en su proceso de enseñanza y aprendizaje. El modelo de participación basado en Wong, et al. (2022) presenta una definición formal de la participación y desvinculación de los estudiantes, destacando que la participación de los estudiantes ocurre cuando participan activamente en las actividades propuestas por el programa escolar. Esta visión presenta el compromiso y la desvinculación como conceptos opuestos y señala que la ausencia de compromiso se manifiesta a través del ausentismo, la apatía y la desmotivación entre los estudiantes. El modelo de participación e identificación introducido por Finn (2012), según (Beekhoven, 2005), distingue entre los componentes conductuales (participación) y emocionales (identificación) del compromiso del estudiante. La participación se describe como el involucramiento activo del estudiante en actividades académicas y no académicas, considerando el absentismo como una manifestación negativa de dicha participación. La identificación se refiere al sentido de pertenencia de los estudiantes a su escuela, donde se sienten aceptados, apoyados y valoran la educación.

La Teoría del Flujo, propuesta por Nakamura (2009), se centra en la experiencia humana óptima conocida como "flujo", un estado mental de inmersión total y concentración en una actividad. Esta teoría sugiere que el flujo se alcanza cuando hay un equilibrio entre el nivel de habilidad de la persona y el desafío que presenta la tarea. El aprendizaje es más efectivo cuando los estudiantes se encuentran en un estado de flujo, ya que esto favorece la retención de información, la solución de problemas complejos y el disfrute del proceso de aprendizaje, gracias a objetivos claros y retroalimentación inmediata.

El modelo multidimensional propuesto por Fredricks (2004) define el compromiso de los estudiantes como un metaconstructo que incluye tres componentes principales: cognitivo, afectivo y conductual. Este modelo trasciende la idea de participación simple, enfatizando no solo la importancia de la participación o conducta de los estudiantes, sino también la relevancia de los aspectos emocionales y cognitivos del compromiso. Para este trabajo se ha tomado como referencia este modelo, ya que su enfoque multidimensional permite una comprensión más completa del compromiso, facilitando la identificación de estrategias pedagógicas y de intervención más efectivas para promover todos los aspectos del compromiso del estudiante. Además, proporciona un marco sólido para investigar cómo los diferentes componentes interactúan entre sí y contribuyen al éxito académico al considerar el compromiso de estas tres dimensiones interrelacionadas.

Herramientas para el Monitoreo del Engagement Estudiantil

El seguimiento de la participación de los estudiantes es un reto debido a la diversidad de sus componentes, pero se han desarrollado varias herramientas y técnicas para dar cuenta de la participación. Entre las técnicas más comunes se encuentran: (1) Autoinformes, que recogen datos directamente de los estudiantes sobre su propia experiencia de aprendizaje, aunque varían en contenido, lo que dificulta la comparación entre estudios (Darr, 2012); (2) Entrevistas, que proporcionan una comprensión profunda de las razones de la variabilidad en la participación de los estudiantes, ofreciendo detalles sobre sus experiencias y factores influyentes (Hofkens, 2019); (3) Observaciones, útiles para identificar comportamientos relacionados con el compromiso individual o grupal, tanto positivos como negativos, mediante la evaluación del comportamiento académico (Rimm-Kaufman, 2009); y (4) medidas en tiempo real, como archivos de registro y seguimiento ocular, que proporcionan datos sobre las fluctuaciones en la participación de los estudiantes en actividades en línea, aunque presentan desafíos en la interpretación de los datos para la aplicación pedagógica. Estas técnicas demuestran la complejidad de medir la participación de los estudiantes y la importancia de seleccionar métodos apropiados para mejorar la educación (Rimm-Kaufman, 2009).

En relación con las herramientas utilizadas para analizar el compromiso de los estudiantes, han sufrido una revolución gracias al desarrollo de herramientas informáticas que permiten una evaluación precisa y en tiempo real. Entre estas herramientas informáticas se encuentran: Classmoto, una aplicación web diseñada para entornos universitarios, que destaca por su capacidad para medir las dimensiones sociales, afectivas y cognitivas del engagement. A través de breves cuestionarios administrados durante la clase, los profesores pueden obtener comentarios instantáneos, visualizables en un panel de control que refleja el nivel general e individual de participación de los estudiantes, según lo documentado por Bonner, et al (2022). SEAT, introduce una metodología multimodal para evaluar la participación, recopilando datos a través de cámaras, audio y navegación web. Esta aplicación procesa la información recopilada para ofrecer a los profesores un cuadro de mando que facilite la intervención personalizada en momentos críticos de desvinculación del alumnado, tal y como destacan Aslan, et al (2019). Otra herramienta es Sens, que surge como una solución para analizar el compromiso conductual y afectivo en tiempo real, utilizando cámaras y sensores ambientales para capturar el grado de atención y las respuestas emocionales de los estudiantes. Los datos obtenidos permiten a los educadores optimizar las estrategias didácticas y mejorar la experiencia educativa, tal y como se detalla en ViewSonic (2023).

Por último, Real Time Camera propone un enfoque novedoso basado en el reconocimiento facial y de poses para monitorizar la atención de los estudiantes en el aula, utilizando algoritmos de aprendizaje automático para evaluar el compromiso (Uçar, 2022). Estas herramientas han mejorado significativamente la comprensión y el seguimiento de la participación, contribuyendo a la evolución de los métodos pedagógicos en los entornos educativos digitales. En la Tabla 1 se presenta un resumen de las herramientas anteriores presentadas.

Cada una de las herramientas presentadas en la Tabla 1 para medir la participación de los estudiantes en los entornos educativos tiene sus propias limitaciones. Classmoto, aunque es eficaz en la recopilación de datos en tiempo real y proporciona visibilidad inmediata a los profesores, se enfrenta a restricciones que se han identificado y requieren recomendaciones para su desarrollo futuro. SEAT, que utiliza tecnología multimodal para el análisis de la participación de los estudiantes en tiempo real, tiene un impacto significativo en las prácticas docentes y reduce el aburrimiento de los estudiantes, pero su dependencia de múltiples fuentes de datos (cámara, plataforma, URL, video y registros de audio) puede complicar su implementación y uso continuo. SENS, que recopila datos conductuales y afectivos en tiempo real a través de sensores ambientales y cámaras para métricas de atención, ofrece recopilación de datos en tiempo real y toma de decisiones estratégicas para los maestros, pero su enfoque en sensores y cámaras puede presentar desafíos en términos de privacidad y aceptación por parte de los estudiantes. La herramienta Real Time Camera, especializada en el seguimiento del reconocimiento facial y las poses de la cabeza en tiempo real, ha tenido éxito en estas áreas específicas y en asociar la distracción con la atención de los estudiantes; sin embargo, su aplicación puede limitarse a contextos en los que se priorizan estas métricas.

Finalmente, si bien estas herramientas han demostrado ser efectivas y útiles para medir la participación de los estudiantes, la amplia variedad de cuestionarios, análisis visuales, auditivos y táctiles, junto con el uso de cámaras y sensores, pueden presentar desafíos en la integración y gestión de estos diversos datos en diferentes contextos educativos. Además, muchos de estos métodos son invasivos para los estudiantes, lo que requiere una herramienta menos intrusiva con la que los estudiantes estén más familiarizados y se sientan más cómodos usando. Otro factor importante desde la perspectiva de las instituciones educativas es que la mayoría de las herramientas presentadas en la Tabla 1 para medir el compromiso son costosas de implementar y no son de libre acceso. Por estas razones, MoTE ha sido diseñado como una herramienta móvil abierta (https://mote.ucuenca.edu.ec/).

Contribución y Preguntas de Investigación

En este artículo se presenta el proceso de diseño seguido para el desarrollo de MoTE (Monitoring sTudent Engagement), una herramienta en tiempo real para el seguimiento de la participación de los estudiantes. Los objetivos de la herramienta MoTE son: (1) monitorear la participación de los estudiantes; (2) proporcionar un tablero con visualización de datos para el profesor; (3) facilitar la interacción entre estudiantes y profesores; y (4) garantizar la usabilidad y accesibilidad. Para ello, MoTE recopila datos sobre la participación de los estudiantes en el contexto educativo (presencial / en línea). Dos preguntas de investigación guiaron todo el proceso de diseño de MoTE que se describen a continuación:

• (P.I.1) ¿Cuáles son los indicadores y visualizaciones que deben incluirse en una herramienta para monitorear la participación de los estudiantes?

• (P.I.2) ¿Cómo perciben los usuarios finales un prototipo de herramienta que incluye los indicadores identificados en términos de usabilidad y experiencia de usuario?

Metodología

Para el diseño de MoTE se siguió el enfoque metodológico de la Investigación Basada en el Diseño DBR - Reinmann (2011). Este enfoque mezcla la investigación empírica sobre educación con teorías orientadas al diseño de ambientes de aprendizaje, desde el análisis y diseño hasta la implementación y evaluación. Para aplicar el enfoque metodológico DBR, se utilizó el marco de trabajo del Diseño Interactivo de Aprendizaje (ILD, Bannan-Ritland, 2003). El marco de ILD organiza el proceso de investigación en tres fases: (1) Exploración informada, en la que estudiamos las necesidades, las teorías disponibles y la audiencia de la herramienta; (2) Promulgación, fase en la que se propone e implementa el diseño de una herramienta; (3) Evaluación del impacto local, que tiene como objetivo evaluar el impacto de la intervención a nivel local, centrándose en preguntas de investigación particulares para ese contexto (ver Figura 1). A continuación, se describe cada una de las fases.

Figura 1
Fases del Marco ILD

Fase de Exploración Informada

El objetivo principal de la fase de Exploración Informada fue identificar los indicadores de participación a incluir en la herramienta MoTE considerando tanto a los docentes como a los estudiantes (relacionados con la P.I.1). En concreto, se realizó un análisis de los indicadores existentes en las herramientas existentes para identificar los indicadores que se utilizarán en la herramienta MoTE. Este proceso se estructuró en dos etapas: (1) análisis de los indicadores existentes; y (2) selección de indicadores.

Paso 1. Análisis de los indicadores existentes. Se realizó un análisis de los indicadores desde una perspectiva multidimensional de la participación de los estudiantes. Dentro de la literatura, es posible evidenciar diferentes indicadores que han sido utilizados (Reschly, 2012), y varían en el número de ítems de cada componente y de acuerdo con las fuentes consultadas. Por último, sobre la base de una reciente revisión sistemática de (Bond, 2020) se presenta una clasificación de los cinco indicadores más utilizados (véase la Tabla 2).

Los indicadores de participación estudiantil más utilizados abarcan las dimensiones conductual, afectiva y cognitiva. Los indicadores de comportamiento, como la participación, los logros, la confianza, la responsabilidad y los hábitos de estudio, reflejan la participación y el compromiso de los estudiantes. Los indicadores afectivos, como las interacciones positivas, el disfrute, el interés, el entusiasmo y los sentimientos de conexión, destacan los aspectos emocionales del compromiso. Los indicadores cognitivos como el aprendizaje de los compañeros, la autorregulación, el aprendizaje profundo, el pensamiento crítico y el enfoque en las tareas demuestran el compromiso intelectual de los estudiantes. Estos indicadores proporcionan una comprensión integral de cómo los estudiantes interactúan, sienten y procesan cognitivamente sus experiencias educativas.

Paso 2. Selección de indicadores. Con base en la lista de indicadores de la Tabla 2 y considerando los cuatro objetivos del MoTE (sección D), se seleccionaron varios indicadores para monitorear y reflejar las múltiples dimensiones de la participación de los estudiantes (conductual, cognitiva y afectiva. Ver Tabla 3). MoTE puede complementar las otras herramientas revisadas al proporcionar un enfoque más integrado y menos intrusivo para medir la participación de los estudiantes. Si bien herramientas como Classmoto, SEAT, Sens y Real Time Camera ofrecen información valiosa a través de varios métodos de recopilación de datos, MoTE tiene como objetivo optimizar esta información en una plataforma móvil que sea accesible y fácil de usar tanto para estudiantes como para educadores. La decisión de incluir indicadores específicos en MoTE se basó en su eficacia comprobada para capturar aspectos críticos de la participación. Los indicadores conductuales, como la participación en clase, reflejan la implicación activa, los indicadores cognitivos, como la autorregulación hacia los objetivos, abarcan los procesos de aprendizaje profundo, y los indicadores afectivos, como la pertenencia y el estado emocional, captan la conexión y los sentimientos de los estudiantes hacia su experiencia educativa. Al integrar estos indicadores seleccionados, MoTE proporciona un método integral pero simplificado para rastrear y mejorar la participación de los estudiantes en diversos entornos educativos.

Las métricas y variables presentadas en la Tabla 3 proporcionan un marco estructurado para el diseño de MoTE, centrándose en las dimensiones conductuales, cognitivas y afectivas de la participación de los estudiantes. Para el componente conductual, el indicador de participación en clase, medido a través de comentarios y dudas en clase, se puede incorporar a MoTE incluyendo botones de acción para que los estudiantes envíen preguntas y comentarios en tiempo real. Esto permitirá un seguimiento activo y fomentará la participación de los estudiantes.

En la dimensión cognitiva, indicadores como la autorregulación hacia metas, la metacognición y el aprendizaje profundo se pueden evaluar a través de opciones para que los estudiantes respondan encuestas, proporcionen retroalimentación sobre su comprensión o indiquen si no entienden un tema. Los botones de acción para estas respuestas pueden facilitar ajustes en tiempo real en los métodos y materiales de enseñanza para adaptarse mejor a las necesidades de los estudiantes. Para el componente afectivo, indicadores como la pertenencia, la conexión percibida con la clase, el interés y el placer por aprender se pueden rastrear monitoreando el estado emocional del estudiante durante toda la clase. MoTE puede incluir funciones como rastreadores de estado de ánimo o indicaciones para que los estudiantes expresen sus sentimientos sobre la clase. Estos podrían implementarse como simples botones de acción o controles deslizantes que permiten a los estudiantes expresar su estado emocional en diferentes momentos de la lección. Al integrar estos indicadores y variables, MoTE puede ofrecer una herramienta integral y dinámica para que los educadores midan y mejoren la participación de los estudiantes. El uso de botones accionables y funciones interactivas garantiza que la recopilación de datos sea fluida y que los comentarios de los estudiantes se incorporen continuamente al proceso de aprendizaje.

Diseño e Implementación

Esta sección se dedica a detallar el proceso de diseño e implementación de MoTE, desde la idea inicial hasta la versión final. Se expone cómo se conceptualizó la herramienta y cómo se identificaron los requisitos funcionales y no funcionales, asegurando su adecuación tanto a los usuarios como al objetivo educativo. El diseño y la implementación de MoTE se inspiran en la metodología Lean Startup de (Ries, 2011), que promueve el desarrollo ágil y adaptativo de productos, así como en los principios de usabilidad y diseño centrado en el usuario, tal como lo describe (Nielsen, 1993). MoTE no solo pretende ser una herramienta para recopilar datos sobre la participación de los estudiantes, sino también un recurso para mejorar la dinámica educativa mediante la comunicación efectiva y la retroalimentación en tiempo real. Este enfoque iterativo y basado en la evidencia es crucial en el ámbito del desarrollo de tecnología educativa, ya que facilita la creación de soluciones que no solo son técnicamente sólidas, sino también pedagógicamente significativas. La estructura de MoTE se organiza en dos módulos principales: la interfaz para el estudiante y la interfaz para el profesor.

Interfaz del Estudiante

Los prototipos iniciales de las pantallas se desarrollaron utilizando el método de Diseño por Analogía (Design by Analogy en inglés) (Jia, et al., 2018). Este enfoque consiste en incorporar características de diseño exitosas de aplicaciones ya consolidadas. Basándose en los principios teóricos, se propusieron funcionalidades preliminares como encuestas y comentarios en tiempo real. Al aplicar DbA, se adoptaron las funciones de inicio de sesión de Kahoot para los profesores y las encuestas de Socrative para los estudiantes. El primer prototipo se presenta en la Figura 2.

Figura 2
Primera Iteración de MoTE

Una vez que se completó el primer prototipo interactivo de MoTE (ver Figura 2) (basado en la revisión de la literatura y la Tabla 3), se recibió una retroalimentación temprana de los 3 investigadores que eran expertos en el campo de las tecnologías educativas a través de entrevistas. A través de estas, fue posible validar inicialmente las opciones iconográficas utilizadas para reflejar la multidimensionalidad de la participación de los estudiantes en la herramienta MoTE. Además, también se entrevistó a 15 estudiantes y 10 profesores sobre su percepción de las primeras pantallas. A partir de los resultados obtenidos en las entrevistas, se incorporaron nuevas funciones y se reorganizaron algunas pantallas, en consonancia con DBR. Además, para optimizar la estética y la accesibilidad de la interfaz, se aplicaron los principios de diseño universal de (Lidwell, 2003). La Figura 3 presenta el resultado de la segunda iteración de MoTE. Se agregaron nuevas funciones y se reestructuraron algunas pantallas.

Figura 3
Segunda Iteración de MoTE

Interfaz del Profesor

Iniciamos con un prototipo básico, explorando ideas y posibles funcionalidades, aplicando la misma metodología que los estudiantes. Este proceso permitió identificar funcionalidades clave, rediseñar la apariencia y ajustar las características. En el menú, se empleó el diseño por analogía, tomando como referencia a Socrative for Teachers. La inspiración en Socrative se utilizó para diseñar una herramienta que proporcione información en tiempo real y facilite la participación interactiva.

De manera similar a cómo Socrative permite a los maestros crear cuestionarios, monitorear las respuestas de los estudiantes al instante y ajustar las estrategias de enseñanza en función de la retroalimentación inmediata, el tablero puede incluir funciones que rastrean la participación, la comprensión y el compromiso emocional de los estudiantes durante las lecciones. Al proporcionar estas funciones interactivas y en tiempo real, el tablero puede empoderar a los maestros para tomar decisiones informadas, mejorar la participación de los estudiantes y mejorar la experiencia de aprendizaje en general. Después de varias interacciones y en función de los comentarios de 3 expertos en educación, el tablero del profesor se presenta en la Figura 4.

Figura 4
Prototipo del Dashboard del Profesor de MoTE

Descripción de la herramienta

El proceso de diseño interactivo pone de manifiesto la creciente popularidad de los emojis como medio de comunicación en entornos digitales. Ha sido reconocido por su capacidad para aclarar intenciones comunicativas, desempeñar roles verbales y no verbales en la comunicación y revelar aspectos de la personalidad del usuario (Kaye, et al., 2017). En este contexto, se utilizaron emojis para diseñar interacciones, capturándolas a través de toques que luego serán visibles para los profesores a través de un tablero.

Engagement Conductual: Un enfoque que los docentes pueden emplear para involucrar más a los estudiantes es mediante discusiones en clase o actividades que utilicen respuestas anónimas. El método tradicional de levantar la mano puede causar que algunos estudiantes sean reacios a responder preguntas planteadas en clase, limitando su participación a momentos en que otros compañeros ya han intervenido (Reeve, et al., 2020). Teniendo esto en cuenta, se crearon dos opciones para monitorear este indicador, enviando comentarios y enviando dudas al profesor. Las opciones están representadas por dos botones (comentario de clase y signo de interrogación, Figura 5a).

Engagement Cognitivo: Recopilar información sobre el componente cognitivo del compromiso estudiantil es un desafío, ya que no es tan fácilmente observable como el comportamiento. No obstante, una manera de enfrentar este reto es utilizar dispositivos electrónicos para proporcionar retroalimentación, junto con preguntas diseñadas para evaluar los niveles de compromiso cognitivo, conductual y emocional de los estudiantes. Estas opciones se presentan mediante dos botones (encuesta, No entiendo, Figura 5b).

Engagement Afectivo: Para supervisar este indicador, se desarrollarán tres opciones que permitirán hacer un seguimiento de los siguientes indicadores (Excelente clase, Tengo sueño, solicito un descanso, expreso mis emociones, Figura 5c).

Figura 5
Prototipo del Dashboard del Profesor de MoTE

Arquitectura de la herramienta: La arquitectura de la herramienta se diseñó utilizando el modelo C4, desarrollado por Simon Brown (2016). Este enfoque sugiere describir la arquitectura en cuatro niveles: Contexto, Contenedores, Componentes y Código. A continuación, se describen el front, backend y la base de datos. El frontend de MoTE, desarrollado con Angular, actúa como la interfaz de usuario a través de la cual estudiantes y profesores interactúan con la aplicación; los estudiantes envían datos sobre su engagement, mientras que los profesores acceden y visualizan esta información. En el backend, implementado con Node.js y Express, se gestiona la lógica central del negocio, procesando las llamadas de la API provenientes del frontend y asegurando una transferencia eficiente y en tiempo real de los datos de engagement mediante JSON/HTTPS y Objects/Sockets. Finalmente, la base de datos, alojada en MongoDB, almacena toda la información relevante de la aplicación, incluyendo detalles de las salas, datos de usuarios, encuestas y otros elementos interactivos, beneficiándose de la flexibilidad y capacidad de manejo de grandes volúmenes de datos no estructurados que ofrece MongoDB, Figura 6.

Figura 6
Diagrama de Contexto de la aplicación MoTE

Evaluación Local

Se realizó una evaluación local con el objetivo de comprender cómo los usuarios finales perciben un prototipo de herramienta que incorpora los indicadores identificados, centrándose en su usabilidad y experiencia de usuario (en relación con P.I.2). Para esta evaluación, se seleccionaron 2 aulas presenciales y 1 aula en línea para las pruebas, con un total de 146 estudiantes participando activamente (G1 presencial n= 23, G2 presencial n= 25, G3 online n= 98). La elección de estos grupos se hizo con el fin de cubrir diversos contextos de aprendizaje. Se invitó a los participantes a unirse de manera voluntaria. Las pruebas de usabilidad y experiencia de usuario se llevaron a cabo entre el 3 de noviembre de 2023 y el 9 de enero de 2024. Para evaluar de manera integral la usabilidad y la experiencia de usuario de la aplicación MoTE, se emplearon dos técnicas reconocidas en el ámbito de la interacción persona-computadora: el cuestionario de la Escala de Usabilidad del Sistema (SUS) y el Cuestionario de Experiencia de Usuario (UEQ). Además de los cuestionarios SUS y UEQ, se recopiló retroalimentación cualitativa de los estudiantes mediante encuestas abiertas y sesiones de retroalimentación grupal.

Resultados de la evaluación local: En cuanto al UEQ, los valores superiores a 0,8 indican una evaluación positiva, mientras que los valores inferiores a -0,8 reflejan una evaluación negativa (Schrepp, 2023). La Tabla 4 resume los resultados obtenidos. Los datos del UEQ muestran variaciones en las percepciones de la experiencia de usuario entre los diferentes grupos, con el grupo G3 en línea registrando puntuaciones más altas en casi todas las categorías evaluadas. Esto sugiere que MoTE podría ser percibido como más útil y eficaz en entornos de aprendizaje virtuales, posiblemente debido a una mayor dependencia de las herramientas digitales para la interacción y participación en estos contextos. Estas diferencias también podrían reflejar la naturaleza de las interacciones en entornos presenciales y virtuales, donde la comunicación no verbal y las dinámicas de grupo en aulas físicas pueden influir en cómo se percibe la necesidad y utilidad de la herramienta.

En cuanto al SUS, este produce un valor único que representa una medida general de la usabilidad del sistema. Cada ítem del cuestionario contribuye con cinco opciones que van de 0 a 4 (desde “Totalmente de acuerdo” hasta “Totalmente en desacuerdo”). Las puntuaciones del SUS varían entre 0 y 100. La Tabla 5 resume los resultados obtenidos. Los resultados del SUS revelan una variabilidad en la percepción de la usabilidad de la herramienta entre los estudiantes de los diferentes grupos. Aunque algunos estudiantes valoraron positivamente la usabilidad de la aplicación, otros señalaron dificultades, lo que sugiere áreas de mejora en la interfaz y la experiencia del usuario. Esta variabilidad en las puntuaciones destaca la importancia de considerar una amplia gama de experiencias de usuario durante el diseño de herramientas y en el proceso de mejora continua.

Resultados de las interacciones con MoTE: Para comprender cómo los estudiantes perciben el prototipo MoTE en términos de interacciones con la herramienta (P.I.2), se realizó un análisis descriptivo de los datos para determinar la frecuencia de cada tipo de interacción. La Tabla 6 proporciona una descripción detallada de cómo los estudiantes utilizan las diferentes funcionalidades de MoTE en tres clases distintas, reflejando la frecuencia de uso y el porcentaje correspondiente a cada característica. A partir de estos datos, es posible inferir preferencias de uso y detectar áreas de mejora potencial para la interfaz de la herramienta que se explica a continuación: (1) Expresar mis emociones: Esta función es la más utilizada, lo que indica un alto valor por parte de los estudiantes para comunicar su estado emocional de forma anónima. Su alta frecuencia de uso sugiere que la herramienta satisface una importante necesidad de autoexpresión en el aula; (2) Clase excelente: La segunda característica más popular permite a los estudiantes expresar su satisfacción con la clase, lo cual es un indicador positivo de compromiso. La variación en su uso entre clases sugiere que puede estar influenciado por el contenido o la dinámica de la clase específica; (3) Tengo sueño, No entiendo, Comentarios sobre la clase, Solicitar un descanso: Estas características se utilizan con menos frecuencia, lo que podría indicar una serie de cosas, como una menor necesidad percibida de estas opciones, posibles barreras psicológicas para expresar vulnerabilidad o fatiga, falta de visibilidad en la interfaz de la herramienta o tal vez miedo al profesor. Este hallazgo subraya la necesidad de realizar más investigaciones sobre cómo se pueden optimizar la interfaz y la experiencia del usuario para fomentar una comunicación más abierta y honesta sobre las necesidades y dificultades de los estudiantes durante la clase.

Retroalimentación cualitativa: El análisis cualitativo de la retroalimentación de los estudiantes destacó varios aspectos clave para mejorar tanto la interfaz como las funcionalidades de la herramienta. Entre las sugerencias más relevantes se encuentran: (1) agregar nuevas emociones para capturar estados más específicos como "cansado" o "aburrido", (2) mejorar la organización de la interfaz y añadir funcionalidades como un temporizador para la clase, (3) hacer la herramienta más atractiva visualmente, (4) asegurar que el progreso de la barra de herramientas no se pierda al recargar la página, y (5) implementar la detección automática de una respuesta del estudiante cada 35 a 40 minutos. Esto indica que los estudiantes desean comunicar sus necesidades al profesor durante cada sesión de clase.

Conclusiones y trabajo futuro

En este artículo, se siguió el proceso de investigación basado en el diseño para crear MoTE, una herramienta en tiempo real para monitorear la participación de los estudiantes. A partir de todo el proceso, abordamos dos preguntas de investigación, cuyos resultados podrían servir de inspiración para aquellos investigadores dispuestos a proponer soluciones para medir el compromiso dentro del aula (ya sea presencial o en línea). Con respecto a la PI1 sobre el tipo de indicadores y visualizaciones a utilizar, identificamos a través de diferentes talleres con expertos y docentes: (1) los tipos de indicadores necesarios para medir el compromiso cognitivo, afectivo y conductual; y (2) un conjunto de visualizaciones para representarlos. A partir de estos indicadores y visualizaciones, implementamos un primer prototipo de herramienta MoTE para ser evaluado en contextos reales. Respecto a la RQ2 sobre la usabilidad y experiencia de usuario de los usuarios finales sobre la herramienta. Realizamos una evaluación local con 146 estudiantes y una evaluación amplia con 58 estudiantes. Los resultados indican que los estudiantes valoraron positivamente la información proporcionada con la herramienta como buena y clara para monitorear el compromiso de los estudiantes con la sesión. Sin embargo, se deben realizar algunas mejoras para mejorar la herramienta desde la perspectiva del estudiante. La variabilidad en las puntuaciones del SUS y los comentarios de los estudiantes ponen de relieve áreas específicas de mejora, como la necesidad de una interfaz más intuitiva y la inclusión de funcionalidades adicionales que reflejen con mayor precisión las necesidades y emociones de los estudiantes.

El análisis de cómo los estudiantes interactúan con MoTE proporciona información valiosa sobre el uso de sus funcionalidades en entornos educativos reales. Al optimizar la interfaz y reajustar o resaltar ciertas funcionalidades, se podría promover un uso más equilibrado y efectivo de la herramienta. Basado en los resultados de este estudio, se proponen las siguientes recomendaciones para futuras versiones de MoTE:

1. 1. Mejora continua de la interfaz y las funcionalidades: Se sugiere seguir mejorando la interfaz de usuario de MoTE para que sea más intuitiva y accesible. También es esencial integrar nuevas emociones y funcionalidades de prueba, como un temporizador para las sesiones de clase, basándose en la retroalimentación de los estudiantes.
2. 2. Evaluación continua: Es crucial mantener un proceso constante de evaluación de la usabilidad y la experiencia del usuario, empleando métodos tanto cuantitativos (como SUS y UEQ) como cualitativos (retroalimentación abierta de los estudiantes) para orientar las mejoras de la aplicación.
3. 3. Investigaciones futuras: Es necesario investigar el impacto a largo plazo del uso de MoTE en la participación y el rendimiento de los estudiantes, así como su efectividad en distintos entornos educativos (como los híbridos) y en diversas disciplinas académicas.
4. 4. Mejorar la visibilidad de las funciones menos utilizadas: Dado que las funciones menos utilizadas pueden ser esenciales para el bienestar y el aprendizaje efectivo de los estudiantes, es recomendable hacerlas más visibles en la interfaz. Por ejemplo, posicionar opciones como "Tengo sueño" y "No entiendo" en lugares más destacados podría incentivar su uso.
5. 5. Personalización de la interfaz: Permitir que los estudiantes personalicen la interfaz para destacar las funcionalidades que consideran más importantes podría mejorar su experiencia de usuario y promover el uso completo de las funciones disponibles.
6. 6. Educación y fomento del uso: Mediante sesiones de orientación o materiales de ayuda integrados en la herramienta, se puede instruir a los estudiantes sobre la importancia y el propósito de cada funcionalidad, especialmente aquellas que se usan menos, con el fin de promover un uso más equilibrado.

Este estudio también tiene algunas limitaciones que serán abordadas en trabajos futuros. Por un lado, en las Fases de Diseño de la metodología, se ha trabajado principalmente con estudiantes que solo fueron incluidos para la evaluación amplia. El trabajo futuro incluirá grupos focales y sesiones para diseñar mejor el lado del maestro. Por otro lado, realizamos la evaluación exhaustiva con solo dos cursos presenciales y un curso en línea para analizar la experiencia de usuario y los problemas de usabilidad de la herramienta. Para complementar este estudio, planeamos realizar estudios a gran escala y a largo plazo para analizar cómo los estudiantes y profesores utilizan la herramienta en el contexto del mundo real del aprendizaje y su impacto en sus estrategias.

Creemos que los resultados obtenidos en este trabajo podrían beneficiar a otros investigadores de la comunidad. En primer lugar, esperamos que los indicadores y visualizaciones extraídos de nuestro estudio empírico puedan servir de inspiración para el diseño de nuevas herramientas con fines similares. En segundo lugar, pensamos que los instrumentos y métodos utilizados también podrían ser utilizados por otros investigadores para validar sus propias soluciones y realizar estudios comparativos. Finalmente, esperamos que el proceso descrito pueda servir como ejemplo de cómo aplicar el enfoque DBR para adaptar una herramienta existente a otro contexto.

Agradecimientos

Este artículo recibió el apoyo de la Vicerrectoría Académica de la Universidad de Cuenca y la Dirección de Innovación Educativa.

Referencias

Anand, R., & Gupta, N. (2023). Impact of online learning on student engagement and academic performance. Praxis International Journal of Social Science and Literature, 6(7), 29–40. https://doi.org/10.51879/PIJSSL/060703

Aslan, S., et al. (2019). Investigating the impact of a real-time, multimodal student engagement analytics technology in authentic classrooms. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1–12). ACM. https://doi.org/10.1145/3290605.3300534

Bannan-Ritland, B. (2003). The role of design in research: The integrative learning design framework. Educational Researcher, 32(1), 21–24. https://doi.org/10.3102/0013189X032001021

Barkley, E. F. (2010). Student engagement techniques: A handbook for college faculty. Jossey-Bass.

Beekhoven, S., & Dekkers, H. (2005). The influence of participation, identification, and parental resources on the early school leaving of boys in the lower educational track. European Educational Research Journal, 4(3), 195–207. https://doi.org/10.2304/eerj.2005.4.3.4

Bond, M., et al. (2020). Mapping research in student engagement and educational technology in higher education: A systematic evidence map. International Journal of Educational Technology in Higher Education, 17(1), 2. https://doi.org/10.1186/s41239-019-0176-8

Bonner, E., et al. (2022). Measuring real-time learner engagement in the Japanese EFL classroom. Innovation in Language Learning and Teaching, 1–11. https://doi.org/10.1080/17501229.2021.2025379

Darr, C. W. (2012). Measuring student engagement: The development of a scale for formative use. In S. L. Christenson, et al. (Eds.), Handbook of Research on Student Engagement (pp. 707–723). Springer US. https://doi.org/10.1007/978-1-4614-2018-7_34

Finn, J. D., & Zimmer, K. S. (2012). Student engagement: What is it? Why does it matter? In S. L. Christenson, et al. (Eds.), Handbook of Research on Student Engagement (pp. 97–131). Springer US. https://doi.org/10.1007/978-1-4614-2018-7_5

Fredricks, J. A., et al. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59–109. https://doi.org/10.3102/00346543074001059

Hofkens, T. L., & Ruzek, E. (2019). Measuring student engagement to inform effective interventions in schools. In Handbook of Student Engagement Interventions (pp. 309–324). Elsevier. https://doi.org/10.1016/B978-0-12-813413-9.00021-8

Imlawi, J. (2021). Students’ engagement in e-learning applications: The impact of sound’s elements. Education and Information Technologies, 26(5), 6227–6239. https://doi.org/10.1007/s10639-021-10605-0

Jia, L.-Z., et al. (2018). Design by analogy: Achieving more patentable ideas from one creative design. Chinese Journal of Mechanical Engineering, 31(1), 37. https://doi.org/10.1186/s10033-018-0234-5

Kaye, L. K., et al. (2017). Emojis: Insights, affordances, and possibilities for psychological science. Trends in Cognitive Sciences, 21(2), 66–68. https://doi.org/10.1016/j.tics.2016.10.007

Lidwell, W., et al. (2003). Universal principles of design. Rockport.

McKenney, S. E., & Reeves, T. C. (2019). Conducting educational design research. Routledge/Taylor & Francis Group.

Nakamura, J., & Csikszentmihalyi, M. (2009). Flow theory and research. In S. J. Lopez & C. R. Snyder (Eds.), The Oxford Handbook of Positive Psychology (pp. 194–206). Oxford University Press. https://doi.org/10.1093/oxfordhb/9780195187243.013.0018

Nielsen, J. (1993). Usability engineering. Academic Press.

Pérez-Sanagustín, M., et al. (2022). Designing a Moodle plugin for promoting learners’ self-regulated learning in blended learning. In I. Hilliger, et al. (Eds.), Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption (pp. 324–339). Springer International Publishing. https://doi.org/10.1007/978-3-031-16290-9_24

Reeve, J., et al. (2020). How and why students make academic progress: Reconceptualizing the student engagement construct to increase its explanatory power. Contemporary Educational Psychology, 62, 101899. https://doi.org/10.1016/j.cedpsych.2020.101899

Reimann, P. (2011). Design-based research. In L. Markauskaite, et al. (Eds.), Methodological Choice and Design (pp. 37–50). Springer Netherlands. https://doi.org/10.1007/978-90-481-8933-5_3

Reschly, A. L., & Christenson, S. L. (2012). Jingle, jangle, and conceptual haziness: Evolution and future directions of the engagement construct. In S. L. Christenson, et al. (Eds.), Handbook of Research on Student Engagement (pp. 3–19). Springer US. https://doi.org/10.1007/978-1-4614-2018-7_1

Ries, E. (2011). The lean startup: How today’s entrepreneurs use continuous innovation to create radically successful businesses. Crown Business.

Rimm-Kaufman, S. E., et al. (2009). The contribution of children’s self-regulation and classroom quality to children’s adaptive behaviors in the kindergarten classroom. Developmental Psychology, 45(4), 958–972. https://doi.org/10.1037/a0015861

Schrepp, M. (2023). Enhancing the UEQ heuristic for data cleansing by a threshold for the number of identical responses. https://rgdoi.net/10.13140/RG.2.2.35853.00480

Sosa Neira, E. A., et al. (2017). Emerging technologies (ETs) in education: A systematic review of the literature published between 2006 and 2016. International Journal of Emerging Technologies in Learning (iJET), 12(5), 128. https://doi.org/10.3991/ijet.v12i05.6939

Uçar, M. U., & Özdemir, E. (2022). Recognizing students and detecting student engagement with real-time image processing. Electronics, 11(9), 1500. https://doi.org/10.3390/electronics11091500

ViewSonic. (2023). Sens. https://myviewboard.com/products/sens/

Wong, Z. Y., & Liem, G. A. D. (2022). Student engagement: Current state of the construct, conceptual refinement, and future research directions. Educational Psychology Review, 34(1), 107–138. https://doi.org/10.1007/s10648-021-09628-3

Zapata, G., et al. (2018). Compromiso estudiantil en educación superior: Adaptación y validación de un cuestionario de evaluación en universidades chilenas. Calidad en la Educación, 48, 204. https://doi.org/10.31619/caledu.n48.482