1. Introducción

Durante los últimos años el proceso de la incorporación de las modalidades no presenciales y mixtas en las instituciones de educación superior han ido en aumento debido a múltiples causas que van desde el limitado espacio físico y de infraestructura con el que se cuenta actualmente, hasta las necesidades y características propias de los aspirantes que por condiciones laborales o familiares no pueden asistir de forma parcial o total a la universidad si su modalidad fuese presencial. Las modalidades no presenciales se han conformado “con la intensión de atender la demanda de formación profesional bajo criterios de mayor flexibilidad a los establecidos en los modelos presenciales” [1]. Además, a raíz de la etapa de contingencia sanitaria se ha desarrollado una cierta sensibilización sobre el uso de herramientas tecnológicas como apoyo para la implementación de estrategias de aprendizaje activo de forma remota en muchos estudiantes, profesores y directivos, también se han tenido infinidad de experiencias positivas y negativas sobre la enseñanza remota de emergencia, es así que muchas instituciones quieren aprovechar estas experiencias y sensibilización para avanzar en el tema de educación a distancia.

Desde hace tiempo las universidades han iniciado con el proceso de incorporación de tecnología para fortalecer la práctica educativa avanzando de tal forma que han llegado al punto de establecer de manera formal asignaturas o programas educativos en modalidades distintas a las presenciales. Este fortalecimiento de los medios tecnológicos es importante, sin embargo, por sí mismos no garantiza la calidad de la formación; de ahí que los docentes deben desarrollar un conjunto de “habilidades, actitudes y conocimientos requeridos por los educadores para apoyar el aprendizaje del alumno como participante activo en un mundo digital” [2] conocidos como Competencia Digital Docente (CDD) que permita abordar los planes de enseñanza para modalidades presenciales apoyadas con tecnología, las no presenciales y las mixtas. Así mismo, los profesionales encargados del desarrollo de cursos en modalidades no presenciales deben ser capaces de reconocer las características que deben tener estos programas y poder determinar cómo deben desarrollarse, actualizarse o reconstruirse.

Dentro de la Universidad Autónoma de San Luis Potosí (UASLP) y como complemento al Modelo Educativo se han impulsado tanto el Enfoque de Multimodalidad como el Modelo de Educación a Distancia que describen la forma en que la universidad concibe la docencia haciendo uso de “diversas modalidades, opciones, recursos y tecnologías” [3] y plantean la forma sobre cómo se deberá instrumentar la educación a distancia dentro de la institución, esto mediante la conformación de grupos de trabajo al interior de cada entidad académica y la formación y acompañamiento a los docentes para la generación de Ambientes Digitales de Aprendizaje (ADA) los cuales resultan de la integración de una propuesta pedagógica mediada fuertemente por Tecnologías de Información y Comunicación (TIC) que incorporen los elementos pedagógicos y tecnológicos necesarios para la llevar a cabo la formación en modalidades no presenciales y mixtas, todo esto manteniendo e incrementando la calidad de la formación ofrecida.

Cada asignatura cuya modalidad no sea presencial debe ser conducida o apoyada mediante un ADA que será propuesto y construido por el experto en contenido (profesor) a cargo de ella. En esta propuesta ADA deben estar presentes elementos de comunicación, intercambio de información, tutoría y seguimiento, instrucciones, estrategias pedagógicas, evaluación del aprendizaje entre otros. Derivado de esta propuesta formativa es necesario establecer mecanismos que apoyen a la obtención de información clara y determinante sobre los aspectos negativos, positivos y las áreas de mejora de las propuestas implementadas, para esto, como parte de la fase de evaluación de un ADA se establecieron dos instrumentos que apoyan a la recopilación de información para el análisis y la toma de decisiones sobre distintos aspectos. El primer instrumento recopila la percepción de los estudiantes que cursaron la formación sobre el ADA y el segundo es un instrumento que permite al profesor experto en contenido realizar una autoevaluación reflexiva de su ambiente. Al aplicarse estos dos instrumentos se obtiene una idea muy aproximada de los aspectos a mejorar y de los aspectos que resultaron positivos. El objetivo de esta investigación consta en determinar si el instrumento que recopila la percepción de los estudiantes provee la información suficiente para estimar la calidad de un ambiente digital de aprendizaje.

Es importante evaluar de forma permanente la propuesta ADA implementada para cada asignatura, sin una evaluación que recopila la percepción de los distintos actores que participan en la formación podría caerse en riesgo de reducir la calidad del proceso de enseñanza aprendizaje en estas modalidades.

Este documento presenta la metodología de construcción y validación del primer instrumento llamado Evaluación del Ambiente Digital de Aprendizaje - Percepción de los estudiantes. A partir de la validación del presente instrumento se pretende establecer un proceso continuo de evaluación que permita ir manteniendo la calidad en los ambientes educativos que incorporan modalidades diferentes a la presencial, y con esto impactar de manera positiva en el fortalecimiento educativo del enfoque multimodal al interior de la UASLP.

2. Evaluación de ambientes digitales de aprendizaje

A lo largo de los últimos años el contexto global ha estado cambiando constantemente en todos los ámbitos, especialmente en el área de la educación y las tecnologías digitales. Los seres humanos se han tenido que adaptar a estos cambios logrando optimizar los procesos educativos con las herramientas que la ciencia y tecnología nos proporciona acercando al docente y al estudiante a pesar de la distancia. Esta enseñanza a distancia ha evolucionado también, no sólo en la metodología sino también en el procesamiento de la comunicación de la información. Lo anterior exige que los procesos de enseñanza estén en sintonía y vinculen los procesos de comunicación en el uso de la tecnología, incorporados ambos en un ambiente digital de aprendizaje que además facilite el aprendizaje significativo del estudiante entrando con esto al concepto de diseño de instrucción, como un proceso que sistematiza los elementos que conforman la enseñanza al alumno a partir de instrucciones fundamentales o una serie de pasos organizados y establecidos para garantizar el aprendizaje a distancia integrando todos los recursos con los que se cuenta.

El diseño instruccional, como parte de la enseñanza, también ha sufrido modificaciones según las teorías del aprendizaje, iniciando con lo más primitivo como la observación y la imitación, pasando por los modelos cognitivistas y la retroalimentación del modelo constructivista otorgando al estudiante experiencias significativas que refuercen el aprendizaje y la adquisición de nuevo conocimiento. Cabe mencionar que el diseño instruccional puede tomar elementos de un solo modelo o bien ser un conjunto de modelos o teorías diferentes logrando complementarse para garantizar el modelo más completo.

Uno de los principales objetivos del diseño instruccional es proporcionar elementos que los estudiantes puedan utilizar para reforzar el mismo conocimiento que ellos van construyendo; el diseño instruccional consta de elementos básicos para lograrlo: la necesidad instruccional que declara la justificación de la resolución de problemas que presenta el estudiante para aprender; los objetivos para considerar las características que constituirán dicho proceso; la audiencia, a quien está dirigido todo el proceso de aprendizaje, tomando siempre en cuenta factores como la edad, género, nivel y necesidades educativas, etc.; conocimientos previos que poseen los estudiantes; medios o canales por los que se podrán abordar la transferencia del conocimiento; estrategias propiamente como actividades para lograr la enseñanza así como para garantizarla; y evaluación constante que derivará en la interacción de estudiante-estudiante para lograr una retroalimentación formativa y significativa. Uno de los elementos más importantes del diseño instruccional es la comunicación efectiva no sólo en sentido vertical (docente-estudiante), sino también de manera horizontal (estudiante-estudiante). Dentro de todos los procesos que conforman el diseño instruccional se debe entonces tomar en cuenta la planeación y preparación de los recursos con los que se cuenten para optimizar y garantizar el aprendizaje, dichos recursos son los conocimientos previos del estudiante, las tecnologías con las que se cuenten, la creación de ambientes que favorezcan el aprendizaje abarcando las interacciones sociales no sólo estudiante-docente, sino estudiante-estudiante fomentando el aprendizaje colaborativo [4][5][6].

Al hablar de evaluación en programas o ambientes no presenciales equivale a pensar en macro, es decir, evaluarlos en su totalidad y conocer si se cumplen o no con las características y elementos tecno-pedagógicos para lograr aprendizajes significativos, la formación de calidad refleja la suma de alto impacto de sus elementos cuidadosamente seleccionados y ejecutados. La calidad del entorno implica eficacia y eficiencia, manejabilidad, versatilidad además de fomento a la independencia y autonomía, sin dejar de lado que el ambiente sea atractivo e interactivo.

Algunas de las propuestas existentes para evaluar los ambientes digitales de aprendizaje se enfocan en diversos elementos al interior del proceso educativo, algunas de ellas priorizan la estrategia didáctica, los elementos tecno-pedagógicos en conjunto o los elementos tecnológicos. Cabero y López establecen criterios estructurales y organizativos específicos a considerar al evaluar los cursos virtuales universitarios su propuesta incluye la evaluación en dos dimensiones, dimensión psico-didáctica y la dimensión de aspectos técnicos [7].

Dentro de la dimensión psico-didáctica evalúa el ambiente virtual, el tipo de aprendizaje que se promueve, los objetivos, los contenidos, las actividades y su secuenciación, la evaluación y la acción tutorial; en lo que respecta a la dimensión de aspectos técnicos hacer referencia a elementos relacionados con la calidad del entorno hipermedia, la amigabilidad del entorno, arquitectura de la información, facilidad de navegación y diseño del entorno (amigable, agradable, legible, motivador).

La norma UNE 66181:2012 sobre la calidad de la formación virtual emplea rúbricas que se basan en tres aspectos:

1. 1. El reconocimiento de la formación para la empleabilidad
2. 2. La metodología de aprendizaje que incluye el diseño didáctico instruccional, los recursos formativos y actividades de aprendizaje, tutoría y entorno tecnológico-digital de aprendizaje
3. 3. La accesibilidad del hardware, del software y de la web.

Por otro lado, la Universidad de Cádiz evalúa dos bloques: el bloque A, la “información u organización que comprende la descripción de objetivos, metodología, criterios de evaluación y la forma de obtener ayuda y la estructura lógica del curso” [8]. El bloque B dirigido al contenido y seguimiento, “incluye los contenidos y la forma en que estos promueven el aprendizaje a través de las actividades que fomenten el intercambio de información entre el profesorado y en alumnado y entre el propio alumnado” [8], así como los contenidos y la forma en que los contenidos promueven el aprendizaje a través de la propia evaluación.

Marciniak, y Gairín en su estudio revisión de modelos referente a las dimensiones de evaluación de calidad de educación virtual realizaron un estudio que abordó el análisis comparativo de 25 modelos y 42 dimensiones de evaluación donde identificaron que las grandes dimensiones que describen la calidad son: “el contexto institucional, la infraestructura tecnológica, los estudiantes, el docente, los aspectos pedagógicos y las dimensiones enfocadas en la evaluación de un curso virtual” [9] donde concluyen que no existe un criterio unificado para esta evaluación.

Como se puede identificar evaluar un ambiente digital de aprendizaje implica incluir un conjunto de aspectos, dimensiones o elementos que permitan determinar dicha calidad, algunos autores dirigen su evaluación a la satisfacción de los usuarios, a los resultados académicos o al ambiente, entre otros.

3. Materiales y métodos

Se llevo a cabo un tipo de estudio cuantitativo, descriptico y correlacional, el cual se realizó de agosto 2021 a febrero de 2022. Se consideraron dos poblaciones diferentes para la validación del instrumento: Una del área de Ciencias de la Salud y otra del área de Ingeniería. La de Ingeniería se conformó por estudiantes de licenciatura de las Facultades de Ingeniería que cursaron materias en el departamento Físico-Matemático (2,169). La del área de la salud se conformó por estudiantes de la Facultad de Enfermería y Nutrición de la licenciatura en Enfermería (750). Como muestra se seleccionaron tres grupos de manera no probabilística, el primero de la Facultad de Enfermería y Nutrición de 29 estudiantes que participaron en la validación de conceptos y comprensión del instrumento. Para comparar, los resultados de la validación del instrumento se seleccionó un segundo grupo de la Facultad de Ingería con 53 estudiantes y un tercero de la licenciatura en Enfermería con 27 estudiantes.

El proceso de construcción del instrumento consistió en 2 fases, en la primera de ellas se construyó una propuesta inicial de ítems originada con base en la experiencia y al instrumento propuesto por Estrada y Boude [10], en esta primera fase se completó el 75% del instrumento, una vez teniendo esta base se realizó una revisión de la literatura en búsqueda de propuestas existentes que pudieran complementar la propuesta inicial, logrando completar el 95% de los ítems del instrumento. La segunda fase consistió en categorizar los ítems elaborados y complementar con algunos otros según la categoría, con esto se completó el 100% del instrumento, el total de ítems fue de 44 organizados en las categorías 1) Comunicación, 2) Retroalimentación, 3) Didáctica, 4) Evaluación, 5) Instrucción y 6) Medios y usabilidad, anexándose 3 ítems de respuesta abierta para comentarios sobre lo bueno, lo malo y las propuestas de mejora del curso.

El proceso de validación se llevó a cabo en tres fases, la primera fase consistió en la validación por parte de profesores expertos, se conformó un equipó de 11 docentes expertos de distintas entidades educativas pertenecientes a la UASLP (Tabla 1), el criterio de selección consideró, su alta incorporación de tecnología en la práctica docente actual, su formación docente y su experiencia en la construcción del ambiente de aprendizaje con medios y servicios digitales, con distintos campos de formación académica [11] y que se mantienen activos como docentes en las facultades de medicina, ciencias químicas, ingeniería, hábitat y contaduría y administración. Este proceso de selección los consideró como expertos en el tema, según se muestra en la Tabla 1[12].

Una vez seleccionado el grupo de expertos, se les envió un oficio vía correo electrónico, por parte del director de educación a distancia solicitándoles su participación en la evaluación del instrumento, anexando un formato de tipo lista de cotejo evaluando cada pregunta en relación a 1) la claridad en la redacción, 2) coherencia interna, 3) relevancia, 4) suficiencia y 5) observaciones para cada ítem [13], además de un apartado de aspectos generales sobre: instrucciones, suficiencia de los ítems por categoría, sugerencia de añadir categorías o ítems, validez general del cuestionario y comentarios adicionales [14].

La lista de cotejo (Tabla 2) se estableció según lo propuesto por Escobar-Pérez, J. y Cuervo-Martínez [13], el cual establece que el juicio de expertos es una técnica que se utiliza para evaluar la validez de contenido de un instrumento de medición, y consiste en solicitar la opinión de un grupo de expertos en el tema para evaluar la relevancia, claridad y pertinencia de cada ítem incluido en el instrumento, además de evaluar la claridad del lenguaje utilizado en los ítems, la relevancia del contenido de cada ítem, la representatividad del contenido del instrumento, y la pertinencia y adecuación de las alternativas de respuesta. Se utilizó el esquema de formato adaptado de: García López y Cabero Almenara [15] y Escobar-Pérez, J. y Cuervo-Martínez [13].

Los expertos revisaron y valoraron cada uno de los ítems, aportando comentarios y sugerencias para su mejora en los casos que consideraban que no se cumplía con algún criterio; así mismo hicieron una evaluación final del instrumento. Una vez realizada la modificación al instrumento indicadas por los expertos, se les reenvió para cotejar las modificaciones atendidas además de entregar oficio de participación.

El resultado fue un cuestionario conformado por 44 ítems en el que los mismos se valoran en una escala tipo Likert, de 5 opciones de respuesta, de nunca, casi nunca, a veces, casi siempre y siempre, se le dio un peso a cada posible respuesta de 1, 2, 3, 4 y 5, respectivamente. El puntaje total se obtuvo sumando cada una de las respuestas.

Por otra parte, y una vez validado el instrumento de evaluación del ambiente digital de aprendizaje a través del juicio de expertos, éste se aplicó a estudiantes universitarios participando un grupo de 29 estudiantes de la UASLP, de la Licenciatura en Enfermería, de la Facultad de Enfermería y Nutrición, bajo el criterio de inclusión de haber cursado la asignatura en un ambiente digital de aprendizaje, en modalidad en línea o virtual. En esta validación resultaron solamente cambios en algunos términos o conceptos que resultaban ambiguos dentro del contexto de los estudiantes.

La segunda etapa consistió en someter al instrumento en una validación de confiabilidad del instrumento mediante el coeficiente alfa de Cronbach (Tabla 3), obteniendo un coeficiente de 0.958, la cual se considera un valor alto de consistencia interna [14].

La tercera validación consistió en una validación de referencia con dos poblaciones para esto se aplicó el instrumento en dos grupos de estudiantes con características diferentes, uno perteneció a las Licenciaturas de Ingeniería en Sistemas Inteligentes e Ingeniería en Computación, de la Facultad de Ingeniería y otro a la Licenciatura en Enfermería, de la Facultad de Enfermería y Nutrición, bajo el criterio de inclusión de haber cursado la asignatura en un ambiente digital de aprendizaje, en modalidad en línea o virtual.

El instrumento se estructuró en formulario de Microsoft Forms y fue enviado a los estudiantes para su respuesta, los datos se exportaron al PASW Statistics 1. También se exploró la posibilidad de realizar la validación de constructo, pero al no cumplir la normalidad debido al reducido número de respuestas por ítems no fue posible validar el instrumento por este método. Para el procesamiento y las pruebas estadísticas se utilizó el software estadístico PASW Statistics 18, para comparar las medias de los puntajes entre grupos, se utilizó la prueba T de Student para muestras independientes y un nivel de confianza de 95%. La normalidad de los datos se evalúo mediante la prueba de Kolmogorov-Smirnov.

4. Resultados

En consecuencia, a la validación por juicio de expertos se determinó realizar modificaciones a algunos de los ítems (Tabla 4). Las modificaciones a los ítems por categoría fueron las siguientes:

El 100% de los expertos indicó que el instrumento contiene instrucciones claras y precisas, y que es válido para obtener la información que permita evaluar el ambiente digital de aprendizaje. El 90.9 de los expertos opinó que los ítems son suficientes y solo el 9.1 opinó que en la categoría didáctica habría que incluir las siguientes preguntas.

• A través de las actividades se explican con claridad los temas abordados.

• El ambiente digital de aprendizaje favoreció el uso de materiales de clase.

• El ambiente digital de aprendizaje favoreció el uso a fuentes de información.

De los 42 ítems del instrumento propuesto, los evaluadores sugirieron cambio en la redacción de 30 de ellas, sugirieron eliminar 1 pregunta de la categoría de comunicación y agregar 3 en la sección de didáctica, por lo que el cuestionario final queda constituido por 44 ítems (Tabla 5).

Se obtuvo un coeficiente Alfa de Cronbach de 0.958, lo que indica una Excelente consistencia interna. Según la prueba de Kolmogorov-Smirnov, para los puntajes totales de las poblaciones estudiadas, para la población de enfermería una significancia de 0.457 y 0.350 para la población de ingeniería, por cual se cumplió con la normalidad en los dos casos al obtener significancias mayores a 0.05.

La Tabla 6, muestra una diferencia de 7.403 a favor de la facultad de enfermería, esta es significativa, es decir, el instrumento identificó las diferencias que se suponía existía entre las poblaciones estudiadas.

Se puede identificar que las áreas propuestas en este documento son similares a las propuestas por Morales-Salas et al.[16] los cuales establecen un espacio de información, espacio de mediación/interacción y espacio de diseño instruccional sin embargo en el instrumento propuesto no se consideró el espacio de exposición que pretende identificar debilidades y propuestas de acciones encaminadas al mejoramiento de la plataforma y la interacción virtual, en su caso la propuesta establece preguntas generales de descripción y recomendaciones que de cierto modo permite considerar las propuestas de mejora al ambiente por parte del usuario. Córdova Galeano [17] considera indispensables cuatro dimensiones en un ambiente virtual de aprendizaje la dimensión organizacional, pedagógica, tecnológica y comunicativa, que si bien su propuesta no las evalúa las establece como de gran impacto para la calidad de estas dimensiones tres de ellas son evaluadas en el instrumento propuesta y la referente a la dimensión organizacional no se considera ya que es parte de un momento previo a la implementación del ambiente.

Como instrumento, Medina López et al.[18], proponen la implementación y evaluación del Blended Learning mediante una encuesta con los fundamentos teóricos del modelo de comunidad de indagación y carga factorial, la validación de su instrumento permite dirigir los esfuerzos hacia la construcción de ambientes de aprendizaje con el soporte del diseño instruccional, su propuesta evalúa tres dimensiones la presencia de la enseñanza con 13 ítems, la presencia social con 9 ítems y la presencia cognitiva con 12 ítems dando un total de 34 ítems, esta propuesta no evalúa la instrucción por si mismo, ni los medios y usabilidad utilizados, elementos que fortalecen el proceso educativo.

5. Conclusiones

En la actualidad la oferta educativa incorpora modalidades diferentes a la presencial, sin embargo, el que la modalidad sea presencial, virtual, mixta o a distancia no determina la calidad de un programa educativo; cada ambiente de aprendizaje incorpora elementos comunes y elementos específicos, por lo que no se pueden evaluar de la misma manera como comentan Marciniak y Gairín [9] se requiere incorporar diferentes parámetros y modelos adecuados a los contextos en los que el proceso educativo se produce y desarrolla.

La evaluación de programas no presenciales implica recoger información de utilidad, datos que nos permitan conocer el estado, efectividad y cumplimiento de los objetivos del curso, pero que también nos indiquen cómo y dónde debemos de intervenir para mejorar el ambiente de aprendizaje, es decir evaluar el ambiente en su integralidad, con criterios cimentados en los elementos que en él intervienen y que determinan el valor de lo que se está evaluando.

El instrumento propuesto evalúa los elementos de comunicación, retroalimentación, didáctica, evaluación, diseño tecno-instruccional, medios y usabilidad además de los aspectos generales del curso y recomendaciones de mejora; no evalúa el impacto económico y transferencia del aprendizaje, así como las características institucionales, sin embargo, incorpora los elementos del diseño y evaluación de la calidad de cursos virtuales acordes a algunos estándares nacionales e internacionales [9].

De acuerdo con el objetivo de la investigación, se concluye que el instrumento 1) Aporta información suficiente para determinar la calidad del ambiente digital de aprendizaje implementado lo cual permite la mejora continua de la propuesta educativa, 2) Es un instrumento claro y entendible para los estudiantes que lo responden.

Un valor agregado de este instrumento es que permite conocer la satisfacción general de los estudiantes con las dos últimas preguntas del mismo lo que permite identificar propuestas y sugerencias de mejora del propio curso. Y en este sentido podríamos decir que la investigación desarrollada permite generar un aporte significativo para la evaluación de ambientes de aprendizaje, al proponer un instrumento de evaluación que permite contribuir en la calidad de los programas no presenciales y mixtos.

7. Referencias

[1] Martínez Silva, M. C. (2021). Panorama de las modalidades no presenciales en educación superior. CPU-e, Revista de Investigación Educativa, (32), 159-163. https://doi.org/10.25009/cpue.v0i32.2738

[2] Domingo-Coscollola, M., Bosco-Paniagua, A., Carrasco-Segovia, S., Sánchez-Valero, J. A. (2020). Fomentando la competencia digital docente en la universidad: Percepción de estudiantes y docentes. Revista de Investigación Educativa, 38 (1), 167-182. https://doi.org/10.6018/rie.340551

[3] Universidad Autónoma de San Luis Potosí [UASLP]. (2020). Enfoque de multimodalidad. http://multimodal.uaslp.mx

[4] Feo, R., Guerra, C. (2013). Propuesta de un modelo de diseño instruccional para la elaboración e implementación de cursos a distancia en el Instituto pedagógico de Miranda José Manuel Siso Martínez. Sapiens. Revista Universitaria de Investigación, 14 (1), 65-84.

[5] Torres-Lima, H. J. (2017). La educomunicación y el diseño instruccional. Razón y Palabra, 21 (98), 22-31.

[6] Gazca Herrera, L. A. (2021). Proyecto de intervención para la capacitación virtual de profesores de educación superior en diseño instruccional y recursos educativos digitales. RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 12 (23), 1-26. https://doi.org/10.23913/ride.v12i23.1083

[7] Cabero Almenara, J., López Meneses, E. (2009). Descripción de un instrumento didáctico para el análisis de modelos y estrategias de enseñanza de cursos universitarios en red (A.D.E.C.U.R). Pixel-Bit. Revista de Medios y Educación, (34), 13-30. https://recyt.fecyt.es/index.php/pixel/article/view/61364/37377

[8] Universidad de Cádiz. (2019). Criterios de calidad de cursos en línea de la Universidad de Cádiz. https://udinnovacion.uca.es/wp-content/uploads/2019/01/Criterios-confecci%C3%B3n-cursos-UCA-Ense%C3%B1anza-Virtual.pdf?u

[9] Marciniak, R., Gairín Sallán, J. (2018). Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes. RIED. Revista Iberoamericana de Educación a Distancia, 21 (1), 217-238. https://doi.org/10.5944/ried.21.1.16182

[10] Estrada Villa, E. J., Boude Figueredo, O. R. (2015). Hacia una propuesta para evaluar ambientes virtuales de aprendizaje en educación superior. Academia y Virtualidad, 8 (2), 14-23. https://doi.org/10.18359/ravi.1156

[11] Instituto Nacional de Estadística y Geografía [INEGI]. (2012). Clasificación mexicana de programas de estudio por campos de formación académica 2011. Educación superior y media superior.https://www.copaes.org/documentos/Anexo-A-Clasificacion-Mexicana-de-Programas-de-Estudio.pdf

[12] Cabero Almenara, J. C., Llorente Cejudo, M. C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC). Revista Eduweb, 7 (2), 11-22. https://revistaeduweb.org/index.php/eduweb/article/view/206

[13] Escobar-Pérez, J., Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6 (1), 27-36.

[14] Leandro, J. T. (2020). Fiabilidad de las escalas: interpretación y limitaciones del Alfa de Cronbach. Escuela de las Ciencias de la Administración UNED.

[15] García López, E., Cabero Almenara, J. (2011). Diseño y validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia. Edutec. Revista Electrónica de Tecnología Educativa, (35), 1-26. https://doi.org/10.21556/edutec.2011.35.412

[16] Morales-Salas, R. E., Infante-Moro, J. C., Gallardo-Pérez, J. (2020). Evaluation of virtual learning environments. A management to improve. International Journal of Educational Research and Innovation, (13), 126-142. https://doi.org/10.46661/ijeri.4593

[17] Córdova Galeano, A. (2023). Diseño de la estrategia para la implementación de los ambientes virtuales de aprendizaje, en la Facultad de Ingeniería de la Universidad Tecnológica del Choco “Diego Luis Córdoba”. [Tesis Maestría]. Universidad Autónoma de Bucaramanga y Universidad Oberta de Catalunya. http://hdl.handle.net/20.500.12749/20924

[18] Medina López, J. E., Martínez Ruiz, H., Sánchez Rodríguez, L. I. (2022). Validación de la escala de Comunicad de Indagación para la evaluación del Blended Learning. Transdigital, 3 (6), 1-24. https://doi.org/10.56162/transdigital131