Evaluación de un ambiente digital de aprendizaje: diseño y validación del instrumento

Evaluation of a digital learning environment: design and validation of instrument

Venegas Cepeda, María Leticia; Rodríguez-Sánchez, José de Jesús; Gaytán Hernández, Darío

María Leticia Venegas Cepeda

leticia.venegas@uaslp.mx

Universidad Autónoma de San Luis Potosí México

José de Jesús Rodríguez-Sánchez

jesus.rodriguez@uaslp.mx

Universidad Autónoma de San Luis Potosí México

Darío Gaytán Hernández

dgaytan@uaslp.mx

Universidad Autónoma de San Luis Potosí México

Revista de Investigación en Tecnologías de la Información

Universitat Politècnica de Catalunya, España

ISSN-e: 2387-0893

Periodicidad: Bianual

vol. 11, núm. 24, 2023

editorial@riti.es

Recepción: Julio 17, 2023

Aprobación: Octubre 16, 2023

URL: https://portal.amelica.org/ameli/journal/368/36850693685069005/

DOI: https://doi.org/10.36825/RITI.11.24.005

© Revista de Investigación en Tecnologías de la Información (RITI) 2023

License Creative Commons
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.

Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica

ePub generado a partir de XML JATS4R

Resumen: La presente investigación tuvo como objetivo determinar la validez del instrumento que evalúa un ambiente digital de aprendizaje, el cual permite obtener la percepción del estudiante sobre el funcionamiento y la implementación de los componentes del ambiente. La información se recopiló de un grupo de 85 estudiantes pertenecientes a la Universidad Autónoma de San Luis Potosí en México. El diseño de la investigación fue de tipo cuantitativo, de corte transeccional descriptivo. Los análisis que se llevaron a cabo fueron validación por juicio de expertos y estudiantes, validación de consistencia interna y validación de referencia con poblaciones diferentes. Los resultados mostraron que el instrumento es válido ya que provee información suficiente para medir las dimensiones que debe contener un ambiente digital de aprendizaje y con esto determinar la calidad del ambiente, además de esto, se logró determinar que el instrumento construido es claro y entendible para los estudiantes que lo utilizan. Se concluye que el instrumento 1) Aporta información suficiente para determinar la calidad del ambiente digital de aprendizaje implementado lo cual permite la mejora continua de la propuesta educativa, 2) Es un instrumento claro y entendible para los estudiantes que lo responden.

Palabras clave: Instrumento de Validación, Ambiente Digital de Aprendizaje, Percepción Estudiantil.

Abstract: The purpose of this research was to determine the validity of an instrument that evaluates a digital learning environment, which allows get the student´s perception of the operation and implementation of the components of that environment. The information was collected from 85 students that belong to the University of San Luis Potosí in Mexico. The design of the investigation was a quantitative approach in transactional descriptive cut. The analyzes that were carried out were validation by expert judgment and students, validation by internal consistency and validation of referencie with diferent populations. The results showed that the instrument is valid provides enough information to measure the dimensions that a digital learning environment must contain and determine the quality of the environment, in addition to this, it was possible to determine that the instrument is clear and understandable for students who use it. The conclusions are that 1) the instrument provides sufficient information to determine the quality of the environment which allows continuous improvement of the educational goals, and 2) It is clear an understandable instrument for the students who respond it.

Keywords: Instrument for Validation, Virtual Learning Environment, Student Perception.

1. Introducción

Durante los últimos años el proceso de la incorporación de las modalidades no presenciales y mixtas en las instituciones de educación superior han ido en aumento debido a múltiples causas que van desde el limitado espacio físico y de infraestructura con el que se cuenta actualmente, hasta las necesidades y características propias de los aspirantes que por condiciones laborales o familiares no pueden asistir de forma parcial o total a la universidad si su modalidad fuese presencial. Las modalidades no presenciales se han conformado “con la intensión de atender la demanda de formación profesional bajo criterios de mayor flexibilidad a los establecidos en los modelos presenciales” [1]. Además, a raíz de la etapa de contingencia sanitaria se ha desarrollado una cierta sensibilización sobre el uso de herramientas tecnológicas como apoyo para la implementación de estrategias de aprendizaje activo de forma remota en muchos estudiantes, profesores y directivos, también se han tenido infinidad de experiencias positivas y negativas sobre la enseñanza remota de emergencia, es así que muchas instituciones quieren aprovechar estas experiencias y sensibilización para avanzar en el tema de educación a distancia.

Desde hace tiempo las universidades han iniciado con el proceso de incorporación de tecnología para fortalecer la práctica educativa avanzando de tal forma que han llegado al punto de establecer de manera formal asignaturas o programas educativos en modalidades distintas a las presenciales. Este fortalecimiento de los medios tecnológicos es importante, sin embargo, por sí mismos no garantiza la calidad de la formación; de ahí que los docentes deben desarrollar un conjunto de “habilidades, actitudes y conocimientos requeridos por los educadores para apoyar el aprendizaje del alumno como participante activo en un mundo digital” [2] conocidos como Competencia Digital Docente (CDD) que permita abordar los planes de enseñanza para modalidades presenciales apoyadas con tecnología, las no presenciales y las mixtas. Así mismo, los profesionales encargados del desarrollo de cursos en modalidades no presenciales deben ser capaces de reconocer las características que deben tener estos programas y poder determinar cómo deben desarrollarse, actualizarse o reconstruirse.

Dentro de la Universidad Autónoma de San Luis Potosí (UASLP) y como complemento al Modelo Educativo se han impulsado tanto el Enfoque de Multimodalidad como el Modelo de Educación a Distancia que describen la forma en que la universidad concibe la docencia haciendo uso de “diversas modalidades, opciones, recursos y tecnologías” [3] y plantean la forma sobre cómo se deberá instrumentar la educación a distancia dentro de la institución, esto mediante la conformación de grupos de trabajo al interior de cada entidad académica y la formación y acompañamiento a los docentes para la generación de Ambientes Digitales de Aprendizaje (ADA) los cuales resultan de la integración de una propuesta pedagógica mediada fuertemente por Tecnologías de Información y Comunicación (TIC) que incorporen los elementos pedagógicos y tecnológicos necesarios para la llevar a cabo la formación en modalidades no presenciales y mixtas, todo esto manteniendo e incrementando la calidad de la formación ofrecida.

Cada asignatura cuya modalidad no sea presencial debe ser conducida o apoyada mediante un ADA que será propuesto y construido por el experto en contenido (profesor) a cargo de ella. En esta propuesta ADA deben estar presentes elementos de comunicación, intercambio de información, tutoría y seguimiento, instrucciones, estrategias pedagógicas, evaluación del aprendizaje entre otros. Derivado de esta propuesta formativa es necesario establecer mecanismos que apoyen a la obtención de información clara y determinante sobre los aspectos negativos, positivos y las áreas de mejora de las propuestas implementadas, para esto, como parte de la fase de evaluación de un ADA se establecieron dos instrumentos que apoyan a la recopilación de información para el análisis y la toma de decisiones sobre distintos aspectos. El primer instrumento recopila la percepción de los estudiantes que cursaron la formación sobre el ADA y el segundo es un instrumento que permite al profesor experto en contenido realizar una autoevaluación reflexiva de su ambiente. Al aplicarse estos dos instrumentos se obtiene una idea muy aproximada de los aspectos a mejorar y de los aspectos que resultaron positivos. El objetivo de esta investigación consta en determinar si el instrumento que recopila la percepción de los estudiantes provee la información suficiente para estimar la calidad de un ambiente digital de aprendizaje.

Es importante evaluar de forma permanente la propuesta ADA implementada para cada asignatura, sin una evaluación que recopila la percepción de los distintos actores que participan en la formación podría caerse en riesgo de reducir la calidad del proceso de enseñanza aprendizaje en estas modalidades.

Este documento presenta la metodología de construcción y validación del primer instrumento llamado Evaluación del Ambiente Digital de Aprendizaje - Percepción de los estudiantes. A partir de la validación del presente instrumento se pretende establecer un proceso continuo de evaluación que permita ir manteniendo la calidad en los ambientes educativos que incorporan modalidades diferentes a la presencial, y con esto impactar de manera positiva en el fortalecimiento educativo del enfoque multimodal al interior de la UASLP.

2. Evaluación de ambientes digitales de aprendizaje

A lo largo de los últimos años el contexto global ha estado cambiando constantemente en todos los ámbitos, especialmente en el área de la educación y las tecnologías digitales. Los seres humanos se han tenido que adaptar a estos cambios logrando optimizar los procesos educativos con las herramientas que la ciencia y tecnología nos proporciona acercando al docente y al estudiante a pesar de la distancia. Esta enseñanza a distancia ha evolucionado también, no sólo en la metodología sino también en el procesamiento de la comunicación de la información. Lo anterior exige que los procesos de enseñanza estén en sintonía y vinculen los procesos de comunicación en el uso de la tecnología, incorporados ambos en un ambiente digital de aprendizaje que además facilite el aprendizaje significativo del estudiante entrando con esto al concepto de diseño de instrucción, como un proceso que sistematiza los elementos que conforman la enseñanza al alumno a partir de instrucciones fundamentales o una serie de pasos organizados y establecidos para garantizar el aprendizaje a distancia integrando todos los recursos con los que se cuenta.

El diseño instruccional, como parte de la enseñanza, también ha sufrido modificaciones según las teorías del aprendizaje, iniciando con lo más primitivo como la observación y la imitación, pasando por los modelos cognitivistas y la retroalimentación del modelo constructivista otorgando al estudiante experiencias significativas que refuercen el aprendizaje y la adquisición de nuevo conocimiento. Cabe mencionar que el diseño instruccional puede tomar elementos de un solo modelo o bien ser un conjunto de modelos o teorías diferentes logrando complementarse para garantizar el modelo más completo.

Uno de los principales objetivos del diseño instruccional es proporcionar elementos que los estudiantes puedan utilizar para reforzar el mismo conocimiento que ellos van construyendo; el diseño instruccional consta de elementos básicos para lograrlo: la necesidad instruccional que declara la justificación de la resolución de problemas que presenta el estudiante para aprender; los objetivos para considerar las características que constituirán dicho proceso; la audiencia, a quien está dirigido todo el proceso de aprendizaje, tomando siempre en cuenta factores como la edad, género, nivel y necesidades educativas, etc.; conocimientos previos que poseen los estudiantes; medios o canales por los que se podrán abordar la transferencia del conocimiento; estrategias propiamente como actividades para lograr la enseñanza así como para garantizarla; y evaluación constante que derivará en la interacción de estudiante-estudiante para lograr una retroalimentación formativa y significativa. Uno de los elementos más importantes del diseño instruccional es la comunicación efectiva no sólo en sentido vertical (docente-estudiante), sino también de manera horizontal (estudiante-estudiante). Dentro de todos los procesos que conforman el diseño instruccional se debe entonces tomar en cuenta la planeación y preparación de los recursos con los que se cuenten para optimizar y garantizar el aprendizaje, dichos recursos son los conocimientos previos del estudiante, las tecnologías con las que se cuenten, la creación de ambientes que favorezcan el aprendizaje abarcando las interacciones sociales no sólo estudiante-docente, sino estudiante-estudiante fomentando el aprendizaje colaborativo [4] [5] [6].

Al hablar de evaluación en programas o ambientes no presenciales equivale a pensar en macro, es decir, evaluarlos en su totalidad y conocer si se cumplen o no con las características y elementos tecno-pedagógicos para lograr aprendizajes significativos, la formación de calidad refleja la suma de alto impacto de sus elementos cuidadosamente seleccionados y ejecutados. La calidad del entorno implica eficacia y eficiencia, manejabilidad, versatilidad además de fomento a la independencia y autonomía, sin dejar de lado que el ambiente sea atractivo e interactivo.

Algunas de las propuestas existentes para evaluar los ambientes digitales de aprendizaje se enfocan en diversos elementos al interior del proceso educativo, algunas de ellas priorizan la estrategia didáctica, los elementos tecno-pedagógicos en conjunto o los elementos tecnológicos. Cabero y López establecen criterios estructurales y organizativos específicos a considerar al evaluar los cursos virtuales universitarios su propuesta incluye la evaluación en dos dimensiones, dimensión psico-didáctica y la dimensión de aspectos técnicos [7].

Dentro de la dimensión psico-didáctica evalúa el ambiente virtual, el tipo de aprendizaje que se promueve, los objetivos, los contenidos, las actividades y su secuenciación, la evaluación y la acción tutorial; en lo que respecta a la dimensión de aspectos técnicos hacer referencia a elementos relacionados con la calidad del entorno hipermedia, la amigabilidad del entorno, arquitectura de la información, facilidad de navegación y diseño del entorno (amigable, agradable, legible, motivador).

La norma UNE 66181:2012 sobre la calidad de la formación virtual emplea rúbricas que se basan en tres aspectos:

1. El reconocimiento de la formación para la empleabilidad

2. La metodología de aprendizaje que incluye el diseño didáctico instruccional, los recursos formativos y actividades de aprendizaje, tutoría y entorno tecnológico-digital de aprendizaje

3. La accesibilidad del hardware, del software y de la web.

Por otro lado, la Universidad de Cádiz evalúa dos bloques: el bloque A, la “información u organización que comprende la descripción de objetivos, metodología, criterios de evaluación y la forma de obtener ayuda y la estructura lógica del curso” [8]. El bloque B dirigido al contenido y seguimiento, “incluye los contenidos y la forma en que estos promueven el aprendizaje a través de las actividades que fomenten el intercambio de información entre el profesorado y en alumnado y entre el propio alumnado” [8], así como los contenidos y la forma en que los contenidos promueven el aprendizaje a través de la propia evaluación.

Marciniak, y Gairín en su estudio revisión de modelos referente a las dimensiones de evaluación de calidad de educación virtual realizaron un estudio que abordó el análisis comparativo de 25 modelos y 42 dimensiones de evaluación donde identificaron que las grandes dimensiones que describen la calidad son: “el contexto institucional, la infraestructura tecnológica, los estudiantes, el docente, los aspectos pedagógicos y las dimensiones enfocadas en la evaluación de un curso virtual” [9] donde concluyen que no existe un criterio unificado para esta evaluación.

Como se puede identificar evaluar un ambiente digital de aprendizaje implica incluir un conjunto de aspectos, dimensiones o elementos que permitan determinar dicha calidad, algunos autores dirigen su evaluación a la satisfacción de los usuarios, a los resultados académicos o al ambiente, entre otros.

3. Materiales y métodos

Se llevo a cabo un tipo de estudio cuantitativo, descriptico y correlacional, el cual se realizó de agosto 2021 a febrero de 2022. Se consideraron dos poblaciones diferentes para la validación del instrumento: Una del área de Ciencias de la Salud y otra del área de Ingeniería. La de Ingeniería se conformó por estudiantes de licenciatura de las Facultades de Ingeniería que cursaron materias en el departamento Físico-Matemático (2,169). La del área de la salud se conformó por estudiantes de la Facultad de Enfermería y Nutrición de la licenciatura en Enfermería (750). Como muestra se seleccionaron tres grupos de manera no probabilística, el primero de la Facultad de Enfermería y Nutrición de 29 estudiantes que participaron en la validación de conceptos y comprensión del instrumento. Para comparar, los resultados de la validación del instrumento se seleccionó un segundo grupo de la Facultad de Ingería con 53 estudiantes y un tercero de la licenciatura en Enfermería con 27 estudiantes.

El proceso de construcción del instrumento consistió en 2 fases, en la primera de ellas se construyó una propuesta inicial de ítems originada con base en la experiencia y al instrumento propuesto por Estrada y Boude [10], en esta primera fase se completó el 75% del instrumento, una vez teniendo esta base se realizó una revisión de la literatura en búsqueda de propuestas existentes que pudieran complementar la propuesta inicial, logrando completar el 95% de los ítems del instrumento. La segunda fase consistió en categorizar los ítems elaborados y complementar con algunos otros según la categoría, con esto se completó el 100% del instrumento, el total de ítems fue de 44 organizados en las categorías 1) Comunicación, 2) Retroalimentación, 3) Didáctica, 4) Evaluación, 5) Instrucción y 6) Medios y usabilidad, anexándose 3 ítems de respuesta abierta para comentarios sobre lo bueno, lo malo y las propuestas de mejora del curso.

El proceso de validación se llevó a cabo en tres fases, la primera fase consistió en la validación por parte de profesores expertos, se conformó un equipó de 11 docentes expertos de distintas entidades educativas pertenecientes a la UASLP (Tabla 1), el criterio de selección consideró, su alta incorporación de tecnología en la práctica docente actual, su formación docente y su experiencia en la construcción del ambiente de aprendizaje con medios y servicios digitales, con distintos campos de formación académica [11] y que se mantienen activos como docentes en las facultades de medicina, ciencias químicas, ingeniería, hábitat y contaduría y administración. Este proceso de selección los consideró como expertos en el tema, según se muestra en la Tabla 1 [12].

Tabla 1.

Distribución de expertos participantes por entidad educativa, género y formación.

Entidad educativa | Tiempo Completo | Grado académico | Pertenecientes al SNI
M | H | Lic | Maestría | Doctorado | Si | No
Coordinación académica región altiplano | * |  |  |  | * |  | *
Facultad del Hábitat |  | * |  |  | * | * |
Coordinación académica región altiplano oeste | * |  | * |  |  |  | *
| * |  |  | * | * |
Facultad de contaduría y administración | * |  |  |  | * |  | *
Facultad de ciencias Químicas | * |  |  |  | * | * |
Unidad académica multidisciplinario zona media |  | * |  |  | * | * |
Facultad de ciencias |  | * |  |  | * | * |
Coordinación académica multidisciplinaria huasteca sur | * |  |  | * |  |  | *
Facultad de ciencias químicas | * |  | * |  |  |  | *
Medicina |  | * |  | * |  |  | *
Total | 6 | 5 | 2 | 2 | 7 | 5 | 6

Una vez seleccionado el grupo de expertos, se les envió un oficio vía correo electrónico, por parte del director de educación a distancia solicitándoles su participación en la evaluación del instrumento, anexando un formato de tipo lista de cotejo evaluando cada pregunta en relación a 1) la claridad en la redacción, 2) coherencia interna, 3) relevancia, 4) suficiencia y 5) observaciones para cada ítem [13], además de un apartado de aspectos generales sobre: instrucciones, suficiencia de los ítems por categoría, sugerencia de añadir categorías o ítems, validez general del cuestionario y comentarios adicionales [14].

La lista de cotejo (Tabla 2) se estableció según lo propuesto por Escobar-Pérez, J. y Cuervo-Martínez [13], el cual establece que el juicio de expertos es una técnica que se utiliza para evaluar la validez de contenido de un instrumento de medición, y consiste en solicitar la opinión de un grupo de expertos en el tema para evaluar la relevancia, claridad y pertinencia de cada ítem incluido en el instrumento, además de evaluar la claridad del lenguaje utilizado en los ítems, la relevancia del contenido de cada ítem, la representatividad del contenido del instrumento, y la pertinencia y adecuación de las alternativas de respuesta. Se utilizó el esquema de formato adaptado de: García López y Cabero Almenara [15] y Escobar-Pérez, J. y Cuervo-Martínez [13].

Los expertos revisaron y valoraron cada uno de los ítems, aportando comentarios y sugerencias para su mejora en los casos que consideraban que no se cumplía con algún criterio; así mismo hicieron una evaluación final del instrumento. Una vez realizada la modificación al instrumento indicadas por los expertos, se les reenvió para cotejar las modificaciones atendidas además de entregar oficio de participación.

Tabla 2.

Lista de cotejo para evaluación de ítems.

INSTRUMENTO: EVALUACIÓN DEL AMBIENTE VIRTUAL DE APRENDIZAJE
Ítem | Claridad en la redacción | Coherencia interna | Relevancia | Suficiencia | Observaciones (Si debe eliminarse o modificarse un ítem por favor indique)
Si | No | Si | No | Si | No | Si | No |
| Comunicación
| Retroalimentación
| Didáctica
| Evaluación
| Instrucción
| Medios y Usabilidad
| Aspectos Generales
Aspectos Generales | Sí | No | Observaciones
Validez
Válido | No Válido
Válido atendiendo a las siguientes observaciones

Elaboración propia basado en García López y Cabrero Almenara [15] y Escobar-Pérez, J. y Cuervo-Martínez [13 ].

El resultado fue un cuestionario conformado por 44 ítems en el que los mismos se valoran en una escala tipo Likert, de 5 opciones de respuesta, de nunca, casi nunca, a veces, casi siempre y siempre, se le dio un peso a cada posible respuesta de 1, 2, 3, 4 y 5, respectivamente. El puntaje total se obtuvo sumando cada una de las respuestas.

Por otra parte, y una vez validado el instrumento de evaluación del ambiente digital de aprendizaje a través del juicio de expertos, éste se aplicó a estudiantes universitarios participando un grupo de 29 estudiantes de la UASLP, de la Licenciatura en Enfermería, de la Facultad de Enfermería y Nutrición, bajo el criterio de inclusión de haber cursado la asignatura en un ambiente digital de aprendizaje, en modalidad en línea o virtual. En esta validación resultaron solamente cambios en algunos términos o conceptos que resultaban ambiguos dentro del contexto de los estudiantes.

La segunda etapa consistió en someter al instrumento en una validación de confiabilidad del instrumento mediante el coeficiente alfa de Cronbach (Tabla 3), obteniendo un coeficiente de 0.958, la cual se considera un valor alto de consistencia interna [14].

La tercera validación consistió en una validación de referencia con dos poblaciones para esto se aplicó el instrumento en dos grupos de estudiantes con características diferentes, uno perteneció a las Licenciaturas de Ingeniería en Sistemas Inteligentes e Ingeniería en Computación, de la Facultad de Ingeniería y otro a la Licenciatura en Enfermería, de la Facultad de Enfermería y Nutrición, bajo el criterio de inclusión de haber cursado la asignatura en un ambiente digital de aprendizaje, en modalidad en línea o virtual.

El instrumento se estructuró en formulario de Microsoft Forms y fue enviado a los estudiantes para su respuesta, los datos se exportaron al PASW Statistics 1. También se exploró la posibilidad de realizar la validación de constructo, pero al no cumplir la normalidad debido al reducido número de respuestas por ítems no fue posible validar el instrumento por este método. Para el procesamiento y las pruebas estadísticas se utilizó el software estadístico PASW Statistics 18, para comparar las medias de los puntajes entre grupos, se utilizó la prueba T de Student para muestras independientes y un nivel de confianza de 95%. La normalidad de los datos se evalúo mediante la prueba de Kolmogorov-Smirnov.

Tabla 3.

Nivel de confiabilidad.

Índice | Nivel de fiabilidad | Valor de Alfa de Cronbach
1 | Excelente | [0.9 - 1]
2 | Muy bueno | [0.7 - 0.9]
3 | Bueno | [0.5 - 0.7]
4 | Regular | [0.3 - 0.5]
5 | Deficiente | [0.0 - 0.3]

Elaboración propia con datos obtenidos de PASW Statistics 18.

4. Resultados

En consecuencia, a la validación por juicio de expertos se determinó realizar modificaciones a algunos de los ítems (Tabla 4). Las modificaciones a los ítems por categoría fueron las siguientes:

Tabla 4.

Comparativa de los ítems iniciales con sus modificaciones.

Comunicación
Versión inicial | Versión final | Argumento
La comunicación dentro del ambiente virtual de aprendizaje fue respetuosa | La comunicación dentro del ambiente digital de aprendizaje fue atenta, adecuada, sin hostilidad ni agresividad. | Mejorar la redacción y especificar otras características importantes a considerar, y que sean claras para el estudiante.
Pudiste expresar tus opiniones y posturas en todo momento durante tu formación. | Pudiste expresar tus opiniones en todo momento durante tu formación | Mejorar la redacción eliminando posturas, ya que se solicita la opinión y es suficiente.
Los canales de comunicación establecidos te permitieron interactuar de forma eficiente con tus compañeros | Los canales de comunicación (síncronos o asíncronos) te permitieron interactuar de forma eficiente con tus compañeros. | Mejorar la redacción y precisar canales síncronos o asíncronos
Los canales de comunicación establecidos te permitieron interactuar de forma eficiente con tu(s) maestr(o/a/os/as) | Los canales de comunicación (síncronos o asíncronos) te permitieron interactuar de forma eficiente con tu (s) profesor (es) | Mejorar la redacción y precisar los canales síncronos o asíncronos
Tu(s) maestr(o/a/os/as) te dieron a conocer las reglas de comunicación durante el curso | Al inicio del curso se te dieron a conocer las reglas de comunicación. | Mejorar la redacción, eliminar el singular, y precisar la actividad desde el inicio del curso.
Tu(s) maestr(o/a/os/as) estuvieron disponibles en medios y horarios previamente cordados. |  | Eliminar el ítem ya que al preguntar si existieron los canales y se pudo interactuar se entiende que el docente estuvo disponible.
Retroalimentación
Versión inicial | Versión final | Argumento
Recibiste de tu(s) maestr(o/a/os/as) un seguimiento académico con base en tu rendimiento académico | Recibiste orientación o seguimiento académico con base en tu desempeño | Mejorar la redacción del ítem y eliminar la redacción de género y plural. Se entiende que la actividad es por parte del docente o la docente.
Recibiste de tu(s) maestr(o/a/os/as) ó de tu tutor (a) un seguimiento académico con base en tu rendimiento académico | Recibiste orientación o seguimiento académico con base en tu desempeño. | Mejorar la redacción eliminar el plural, al dejar solo el desempeño, queda sobreentendido que es académico.
La retroalimentación recibida te ayudó a resolver dudas | La retroalimentación recibida ayudó a resolver tus dudas académicas | Especificar que las dudas sean académicas.
La retroalimentación recibida contribuyo en tu aprendizaje | La retroalimentación recibida contribuyó en tu aprendizaje | Corrección de ortografía
Didáctica
Versión inicial | Versión final | Argumento
La secuencia de las actividades del curso te permitió alcanzar los objetivos académicos. | Las actividades del curso te permitieron alcanzar los objetivos académicos | El estudiante identifica las actividades, no necesariamente especificar la secuencia de las mismas.
El ambiente virtual de aprendizaje favoreció la interacción entre los integrantes |  | Ítem que pertenece a la categoría de comunicación
El tiempo estimado para generar tus trabajos (tareas, reportes, proyectos, etc.) fue congruente en relación a la complejidad | El tiempo estimado para terminar las actividades fue congruente en relación con su dificultad | Mejorar la redacción del ítem y eliminar el etc.
Tuviste oportunidad de proponer o sugerir a tu(s) maestr(o/a/os/as) actividades o dinámicas a las que se plantearon | Existió oportunidad de proponer o sugerir contenido complementario al que planteó tu profesor. | Mejorar la redacción del ítem y dar la oportunidad de sugerir contenido más que dinámicas que en ocasiones el estudiante desconoce.
Evaluación
Versión inicial | Versión final | Argumento
Durante el curso se te brindo la oportunidad de autoevaluar tus conocimientos | Durante el curso se te brindó la oportunidad de autoevaluar tu aprendizaje | Corrección de ortografía, y centrar el proceso hacia el aprendizaje
Durante el curso la evaluación se brindó por parte de tu(s) maestr(o/a/os/as) (heteroevaluación) | Durante el curso te evaluó tu(s) profesor(es) | Mejorar la redacción del ítem
Durante el curso se te brindó la oportunidad de evaluar a algunos de tus compañeros. | Durante el curso evaluaste a algunos de tus compañeros | Mejorar la redacción, mantener la pregunta, aunque no es una actividad común en la institución.
Consideras que la evaluación que te brindaron contribuyó para que aprendieras temas de curso. |  | Eliminar, no es clara ni relevante para este cuestionario.
Instrucción
Versión inicial | Versión final | Argumento
Consideras que las instrucciones de las actividades fueron suficientes para lograr el objetivo |  | Eliminar ítem ya abordado en el ítem “Se te entregaron instrucciones claras para el desarrollo de las actividades del curso”
Consideras que la descripción de las actividades describiría el objetivo | La descripción de las actividades tenía: objetivo | Mejorar la redacción, no utilizar el verbo en futuro.
Consideras que la descripción de las actividades tenía: Instrucciones o pasos a seguir | La descripción de las actividades tenía: Pasos a seguir | Mejorar la redacción del ítem a un lenguaje más claro.
Consideras que la descripción de las actividades tenía: te mencionaban como se evaluaría | La descripción de las actividades tenía: Formas de evaluación | Mejorar la redacción del ítem
Medios y usabilidad
Versión inicial | Versión final | Argumento
Consideras que las tecnologías utilizadas favorecieron la dinámica de tu aprendizaje | Las tecnologías utilizadas favorecieron tu aprendizaje | Precisar la pregunta, no hacia la dinámica del aprendizaje, sino al aprendizaje en sí.
Consideras que la apariencia del espacio virtual, el lenguaje utilizado y las actividades despertaron en ti motivación para el aprendizaje. | La apariencia del espacio digital, el lenguaje utilizado y las actividades despertaron tu motivación para el aprendizaje. | Mejorar la redacción del ítem para una mayor comprensión.
La organización de los contenidos te permitió ubicar las unidades, temas, subtemas, avisos, secciones, etc. | La organización de los contenidos te permitió ubicar fácilmente las unidades, temas, subtemas, avisos, secciones, u otros. | Mejorar la redacción del ítem
Consideras que la apariencia del espacio virtual, el lenguaje utilizado y las actividades despertaron en ti motivación para el aprendizaje. | La apariencia del espacio digital, el lenguaje utilizado y las actividades despertaron tu motivación para el aprendizaje. | Mejorar la redacción del ítem para una mayor comprensión del mismo.
Se estableció una estrategia o dinámica para compartir o recibir información referente a los contenidos del curso. | Se estableció una forma para compartir o recibir información. | Mejorar la redacción y que quede más entendible para el estudiante.
Aspectos generales
Versión inicial | Versión final | Argumento
Describe a continuación lo que menos te gustó del curso e indica la razón | Describe lo que menos te gustó del curso e indica la razón. | Eliminar la palabra “a continuación” que no es necesaria en la pregunta.
Describe a continuación lo que más te gustó del curso e indica la razón | Describe lo que más te gustó del curso e indica la razón. | Eliminar la palabra “a continuación” que no es necesaria en la pregunta.
| Escribe algunas recomendaciones que consideres puedan mejorar el curso. | Agregar para rescatar sugerencias generales que puedan mejorar el curso.

Elaboración propia a partir de la evaluación de expertos.

El 100% de los expertos indicó que el instrumento contiene instrucciones claras y precisas, y que es válido para obtener la información que permita evaluar el ambiente digital de aprendizaje. El 90.9 de los expertos opinó que los ítems son suficientes y solo el 9.1 opinó que en la categoría didáctica habría que incluir las siguientes preguntas.

A través de las actividades se explican con claridad los temas abordados.

El ambiente digital de aprendizaje favoreció el uso de materiales de clase.

El ambiente digital de aprendizaje favoreció el uso a fuentes de información.

De los 42 ítems del instrumento propuesto, los evaluadores sugirieron cambio en la redacción de 30 de ellas, sugirieron eliminar 1 pregunta de la categoría de comunicación y agregar 3 en la sección de didáctica, por lo que el cuestionario final queda constituido por 44 ítems (Tabla 5).

Tabla 5.

Ítems por área.

Área | Número de ítems | Área | Número de ítems
Comunicación | 5 | Instrucción | 8
Retroalimentación | 4 | Medios y usabilidad | 8
Didáctica | 10 | Generales | 3
Evaluación | 6 |  |

Elaboración propia con datos de la evaluación por expertos.

Se obtuvo un coeficiente Alfa de Cronbach de 0.958, lo que indica una Excelente consistencia interna. Según la prueba de Kolmogorov-Smirnov, para los puntajes totales de las poblaciones estudiadas, para la población de enfermería una significancia de 0.457 y 0.350 para la población de ingeniería, por cual se cumplió con la normalidad en los dos casos al obtener significancias mayores a 0.05.

La Tabla 6, muestra una diferencia de 7.403 a favor de la facultad de enfermería, esta es significativa, es decir, el instrumento identificó las diferencias que se suponía existía entre las poblaciones estudiadas.

Tabla 6.

Comparación de medias de los puntajes entre los grupos a quienes se aplicó el instrumento.

Grupo | Media | D.E. | Diferencia de medias | p | I.C 95%
L. Inf | L. Sup
Facultad de Ingeniería | 181.264 | 15.587 | 7.403 | 0.046 | 0.132 | 14.673
Facultad de Enfermería y Nutrición | 188.667 | 15.161

Elaboración propia con datos del instrumento de evaluación ADA.

Se puede identificar que las áreas propuestas en este documento son similares a las propuestas por Morales-Salas et al. [16] los cuales establecen un espacio de información, espacio de mediación/interacción y espacio de diseño instruccional sin embargo en el instrumento propuesto no se consideró el espacio de exposición que pretende identificar debilidades y propuestas de acciones encaminadas al mejoramiento de la plataforma y la interacción virtual, en su caso la propuesta establece preguntas generales de descripción y recomendaciones que de cierto modo permite considerar las propuestas de mejora al ambiente por parte del usuario. Córdova Galeano [17] considera indispensables cuatro dimensiones en un ambiente virtual de aprendizaje la dimensión organizacional, pedagógica, tecnológica y comunicativa, que si bien su propuesta no las evalúa las establece como de gran impacto para la calidad de estas dimensiones tres de ellas son evaluadas en el instrumento propuesta y la referente a la dimensión organizacional no se considera ya que es parte de un momento previo a la implementación del ambiente.

Como instrumento, Medina López et al. [18], proponen la implementación y evaluación del Blended Learning mediante una encuesta con los fundamentos teóricos del modelo de comunidad de indagación y carga factorial, la validación de su instrumento permite dirigir los esfuerzos hacia la construcción de ambientes de aprendizaje con el soporte del diseño instruccional, su propuesta evalúa tres dimensiones la presencia de la enseñanza con 13 ítems, la presencia social con 9 ítems y la presencia cognitiva con 12 ítems dando un total de 34 ítems, esta propuesta no evalúa la instrucción por si mismo, ni los medios y usabilidad utilizados, elementos que fortalecen el proceso educativo.

5. Conclusiones

En la actualidad la oferta educativa incorpora modalidades diferentes a la presencial, sin embargo, el que la modalidad sea presencial, virtual, mixta o a distancia no determina la calidad de un programa educativo; cada ambiente de aprendizaje incorpora elementos comunes y elementos específicos, por lo que no se pueden evaluar de la misma manera como comentan Marciniak y Gairín [9] se requiere incorporar diferentes parámetros y modelos adecuados a los contextos en los que el proceso educativo se produce y desarrolla.

La evaluación de programas no presenciales implica recoger información de utilidad, datos que nos permitan conocer el estado, efectividad y cumplimiento de los objetivos del curso, pero que también nos indiquen cómo y dónde debemos de intervenir para mejorar el ambiente de aprendizaje, es decir evaluar el ambiente en su integralidad, con criterios cimentados en los elementos que en él intervienen y que determinan el valor de lo que se está evaluando.

El instrumento propuesto evalúa los elementos de comunicación, retroalimentación, didáctica, evaluación, diseño tecno-instruccional, medios y usabilidad además de los aspectos generales del curso y recomendaciones de mejora; no evalúa el impacto económico y transferencia del aprendizaje, así como las características institucionales, sin embargo, incorpora los elementos del diseño y evaluación de la calidad de cursos virtuales acordes a algunos estándares nacionales e internacionales [9].

De acuerdo con el objetivo de la investigación, se concluye que el instrumento 1) Aporta información suficiente para determinar la calidad del ambiente digital de aprendizaje implementado lo cual permite la mejora continua de la propuesta educativa, 2) Es un instrumento claro y entendible para los estudiantes que lo responden.

Un valor agregado de este instrumento es que permite conocer la satisfacción general de los estudiantes con las dos últimas preguntas del mismo lo que permite identificar propuestas y sugerencias de mejora del propio curso. Y en este sentido podríamos decir que la investigación desarrollada permite generar un aporte significativo para la evaluación de ambientes de aprendizaje, al proponer un instrumento de evaluación que permite contribuir en la calidad de los programas no presenciales y mixtos.

7. Referencias

[1] Martínez Silva, M. C. (2021). Panorama de las modalidades no presenciales en educación superior. CPU-e, Revista de Investigación Educativa, (32), 159-163. https://doi.org/10.25009/cpue.v0i32.2738

[2] Domingo-Coscollola, M., Bosco-Paniagua, A., Carrasco-Segovia, S., Sánchez-Valero, J. A. (2020). Fomentando la competencia digital docente en la universidad: Percepción de estudiantes y docentes. Revista de Investigación Educativa, 38 (1), 167-182. https://doi.org/10.6018/rie.340551

[3] Universidad Autónoma de San Luis Potosí [UASLP]. (2020). Enfoque de multimodalidad. http://multimodal.uaslp.mx

[4] Feo, R., Guerra, C. (2013). Propuesta de un modelo de diseño instruccional para la elaboración e implementación de cursos a distancia en el Instituto pedagógico de Miranda José Manuel Siso Martínez. Sapiens. Revista Universitaria de Investigación, 14 (1), 65-84.

[5] Torres-Lima, H. J. (2017). La educomunicación y el diseño instruccional. Razón y Palabra, 21 (98), 22-31.

[6] Gazca Herrera, L. A. (2021). Proyecto de intervención para la capacitación virtual de profesores de educación superior en diseño instruccional y recursos educativos digitales. RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 12 (23), 1-26. https://doi.org/10.23913/ride.v12i23.1083

[7] Cabero Almenara, J., López Meneses, E. (2009). Descripción de un instrumento didáctico para el análisis de modelos y estrategias de enseñanza de cursos universitarios en red (A.D.E.C.U.R). Pixel-Bit. Revista de Medios y Educación, (34), 13-30. https://recyt.fecyt.es/index.php/pixel/article/view/61364/37377

[8] Universidad de Cádiz. (2019). Criterios de calidad de cursos en línea de la Universidad de Cádiz. https://udinnovacion.uca.es/wp-content/uploads/2019/01/Criterios-confecci%C3%B3n-cursos-UCA-Ense%C3%B1anza-Virtual.pdf?u

[9] Marciniak, R., Gairín Sallán, J. (2018). Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes. RIED. Revista Iberoamericana de Educación a Distancia, 21 (1), 217-238. https://doi.org/10.5944/ried.21.1.16182

[10] Estrada Villa, E. J., Boude Figueredo, O. R. (2015). Hacia una propuesta para evaluar ambientes virtuales de aprendizaje en educación superior. Academia y Virtualidad, 8 (2), 14-23. https://doi.org/10.18359/ravi.1156

[11] Instituto Nacional de Estadística y Geografía [INEGI]. (2012). Clasificación mexicana de programas de estudio por campos de formación académica 2011. Educación superior y media superior. https://www.copaes.org/documentos/Anexo-A-Clasificacion-Mexicana-de-Programas-de-Estudio.pdf

[12] Cabero Almenara, J. C., Llorente Cejudo, M. C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC). Revista Eduweb, 7 (2), 11-22. https://revistaeduweb.org/index.php/eduweb/article/view/206

[13] Escobar-Pérez, J., Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6 (1), 27-36.

[14] Leandro, J. T. (2020). Fiabilidad de las escalas: interpretación y limitaciones del Alfa de Cronbach. Escuela de las Ciencias de la Administración UNED.

[15] García López, E., Cabero Almenara, J. (2011). Diseño y validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia. Edutec. Revista Electrónica de Tecnología Educativa, (35), 1-26. https://doi.org/10.21556/edutec.2011.35.412

[16] Morales-Salas, R. E., Infante-Moro, J. C., Gallardo-Pérez, J. (2020). Evaluation of virtual learning environments. A management to improve. International Journal of Educational Research and Innovation, (13), 126-142. https://doi.org/10.46661/ijeri.4593

[17] Córdova Galeano, A. (2023). Diseño de la estrategia para la implementación de los ambientes virtuales de aprendizaje, en la Facultad de Ingeniería de la Universidad Tecnológica del Choco “Diego Luis Córdoba”. [Tesis Maestría]. Universidad Autónoma de Bucaramanga y Universidad Oberta de Catalunya. http://hdl.handle.net/20.500.12749/20924

[18] Medina López, J. E., Martínez Ruiz, H., Sánchez Rodríguez, L. I. (2022). Validación de la escala de Comunicad de Indagación para la evaluación del Blended Learning. Transdigital, 3 (6), 1-24. https://doi.org/10.56162/transdigital131