Recepción: 28 Junio 2022
Revisado: 15 Noviembre 2022
Aprobación: 12 Enero 2023
Resumen: En el presente artículo se presentan los resultados del proceso de adaptar y validar el componente afectivo y las estrategias metacognitivas de control del contexto, de búsqueda, recogida y selección de la información, y del procesamiento y uso de la información del cuestionario de evaluación de las estrategias de aprendizaje de los estudiantes universitarios (CEVEAPEU) en universitarios en Colombia. La metodología se basó en los estudios instrumentales, que buscan identificar las propiedades psicométricas de un instrumento. La versión final del instrumento se nombra como Cuestionario de estrategias de aprendizaje en estudiantes universitarios (CEAEU). La muestra fue 1.700 estudiantes de todo el país para la fase exploratoria y 661 estudiantes para la fase confirmatoria no aleatoria. Para la etapa confirmatoria, se utilizaron los modelos de ecuaciones estructurales (SEM); en esta etapa se determinó la validez convergente y discriminante, a partir de la fiabilidad compuesta (CR), el alfa de Cronbach y el coeficiente omega, varianza promedio extraída (AVE). Asimismo, se presenta el proceso desarrollado en cada fase de la investigación y el modelo SEM final, representado en un diagrama de caminos. El resultado es un instrumento de 31 ítems, divididos en 9 subescalas, con un modelo con bondad de ajuste, adecuado a los umbrales planteados por la teoría. El nuevo cuestionario es válido y confiable. Por lo tanto, el cuestionario, adaptado y validado, brinda información a quienes lo utilicen en el país para comprender los resultados de sus investigaciones.
Palabras clave: estrategias de aprendizaje, análisis de caminos, psicometría, cuestionario de evaluación de las estrategias de aprendizaje de los estudiantes universitarios (CEVEAPEU), modelo de ecuaciones estructurales, validación de instrumentos.
Abstract: This article presents the results of the process of adaptation and validation of the affective component and the metacognitive strategies of context control, search, collection and selection of information, and processing and use of information of the Questionnaire for the Evaluation of Learning Strategies of University Students in Colombia. The methodology was based on instrumental studies aimed at identifying the psychometric properties of an instrument whose final version is called Questionnaire of Learning Strategies in University Students. The sample consisted of 1700 students from all over the country for the exploratory phase and 661 for the non-random confirmatory phase, in which structural equation models were used; the convergent and discriminant validity was determined by the composite reliability, Cronbach’s alpha, the omega coefficient, and the average variance extracted. Likewise, the process developed in each phase of the research and the final SEM model, represented in a path diagram, are presented. The result is an instrument of 31 items divided into nine subscales, with a goodness of fit model adequate to the thresholds proposed by the theory. The new questionnaire is valid and reliable; therefore, once, adapted and validated, it will provide information to those who use it in the country to understand the results of their research.
Keywords: Learning strategies, pathway analysis, psychometrics, questionnaire for the evaluation of learning strategies of university students, structural equation modeling, instrument validation.
Resumo: Este artigo apresenta os resultados do processo de adaptação e validação do componente afetivo e das estratégias meta-cognitivas de controle de contexto, busca, coleta e seleção de informações, e processamento e uso de informações do questionário para avaliação de estratégias de aprendizagem de estudantes universitários na Colômbia. A metodologia baseou-se em estudos instrumentais destinados a identificar as propriedades psicométricas de um instrumento cuja versão final é denominada Questionário de Estratégias de Aprendizagem em Estudantes Universitários. A amostra foi composta por 1.700 estudantes de todo o país para a fase exploratória e 661 para a fase confirmatória não aleatória, na qual foram utilizados modelos de equações estruturais; a validade convergente e discriminante foi determinada pela confiabilidade composta, o alfa de Cronbach, o coeficiente ômega e pela variância média extraída. Da mesma forma, o processo desenvolvido em cada fase da pesquisa e o modelo SEM final, representado em um diagrama de caminho, são apresentados. O resultado é um instrumento de 31 itens divididos em nove subescalas, com um modelo de ajuste adequado aos limites propostos pela teoria. O novo questionário é válido e confiável; portanto, o questionário, adaptado e validado, fornece informações àqueles que o utilizam no país para entender os resultados de suas pesquisas.
Palavras-chave: estratégias de aprendizagem, análise de trajetória, psicometria, questionário de estratégias de aprendizagem em estudantes universitários, modelagem de equações estruturais, validação de instrumentos.
Introducción
Aunque el aprendizaje hace parte de la esencia del ser humano, cuando la forma en que este se realiza es metódica y con la finalidad de alcanzar un objetivo determinado, aparece un proceso que se denomina enseñanza-aprendizaje. Este proceso se ha considerado de gran interés, por ende, se observa una gran cantidad de investigaciones que buscan responder la siguiente pregunta: ¿cómo se aprende? A partir de esto se generan estudios donde las estrategias de aprendizaje aportan a los planteamientos que buscan responder el interrogante.
El estudio de las estrategias de aprendizaje se fundamenta en la teoría del procesamiento de la información, que se ha unido con el aprendizaje autorregulado, como una forma para integrar los procesos de aprendizaje (Pintrich, 2004). Esa cuestión es relevante en la sociedad de la información en momentos en que el aprender a aprender es fundamental, ya que dichas estrategias proporcionan herramientas para trabajar en cualquier contexto de aprendizaje.
El concepto de estrategia de aprendizaje ha sido trabajado por diversos autores que tienen diferencias y similitudes. Weinstein y Mayer (1986) la definen como las conductas y pensamientos que el estudiante usa durante el proceso de aprendizaje para poder mejorar su proceso de codificación, e incluyen características como la adquisición, retención y transferencia; pueden ser enseñadas para ser usadas en el aprender. Dansereau (1985) menciona que estas estrategias son actividades que el aprendiz usa para mejorar la manera en que adquiere la información, la guarda y la utiliza; posteriormente, propone considerar la relación de estrategias cognitivas y motivacionales como un sistema complejo que debe ser aprendido en su conjunto por el estudiante. La posibilidad de que estas estrategias se puedan manipular de manera intencional es el aporte que hace Beltrán (1993), aunque algunas rutinas se pueden aprender hasta la automatización. Las estrategias son corrientemente deliberadas, planificadas que se comprometen en actividades. Además de esto, se involucra, de manera consciente, la toma de decisiones, lo que permite seleccionar y recuperar la información que se requiere para llevar a cabo una actividad (Monereo, 2009).
Gargallo et al. (2009) parten de los principios del modelo de Pintrich, que es coherente con los aportes de otros autores (Beltrán, 1993; Dansereau, 1985; Weinstein y Mayer, 1986), y sintetizan la definición de estrategias de aprendizaje como un conjunto consciente, organizado e intencional de las acciones que un estudiante realiza para lograr un aprendizaje eficaz en un contexto social determinado. Es un constructo complejo que articula elementos cognitivos, motivacionales y conductuales. Siendo amplio y ecléctico este concepto, es más integrador y permite el diseño de una clasificación de estrategias de aprendizaje más completa, que recoge elementos esenciales del concepto, como la conciencia, la intencionalidad, el manejo de recursos diversos, la autorregulación y la vinculación al contexto; además, abarca las tres dimensiones de la mente que están relacionadas con el aprender, la voluntad, la capacidad y la autonomía, es decir, querer, poder y decidir.
Gargallo (2000) estableció una clasificación de las estrategias de aprendizaje, a saber: a) afectivas de apoyo y control, que incluyen las motivacionales, los componentes afectivos, lo metacognitivo y el control del contexto, incluyendo en este la interacción y el manejo de recursos; b) cognitivas, que tienen que ver con el procesamiento de la información, incluye la búsqueda, recogida y selección de información, así como el procesamiento y su uso.
La propuesta da valor a las estrategias afectivas, disposicionales y de apoyo, que son primordiales en el proceso de aprender y que relacionan la motivación con lo afectivo, mueve el aprender y permite que la energía se sostenga, incluye mecanismos de valor, expectativas y afectivos. Las estrategias metacognitivas tienen que ver con la habilidad para la toma de decisiones, planificación, autoevaluación del desempeño y autorregulación. Estas estrategias, junto con las afectivas, se agrupan en un bloque que integra lo afectivo-motivacional, lo metacognitivo y el control del contexto e interacción social. Todas estas estrategias no están dirigidas al procesamiento de la información, sino a iniciar el proceso y permitir su implementación. En un segundo bloque se organizan las cognitivas, que están más directamente relacionadas con el procesamiento.
La clasificación termina con las estrategias de procesamiento (poder-capacidad) que se contemplan en las clasificaciones tradicionales, vistas anteriormente, y que son acordes con los modelos de procesamiento de la información (adquirir, elaborar, organizar y almacenar). Aquí se integran:
Las estrategias de personalización y creatividad (aprender es más que retener información elaborada y organizada, supone recrear, reelaborar críticamente, realizar propuestas propias), así como las Estrategias de Recuperación y las de Transferencia y Uso, que suelen pasar desapercibidas en algunas de dichas clasificaciones (aprender es también usar eficazmente lo aprendido). Asimismo, se incorporan las relacionadas con la Búsqueda, Recogida y Selección de Información, típicamente olvidadas en las clasificaciones presentes en la literatura. En la sociedad de la información una clasificación de estrategias no puede eludir este componente fundamental. (Gargallo et al., 2009, p. 4)
Teniendo en cuenta esta definición y clasificación, Gargallo et al. (2009) elaboraron y validaron un cuestionario sólido y bien estructurado en una población universitaria española, que permitió recoger información más completa que otros cuestionarios. Este instrumento lo denominaron cuestionario de evaluación de las estrategias de aprendizaje de los estudiantes universitarios (CEVEAPEU). Así, este cuestionario es uno de los más utilizados para el análisis de la efectividad y el uso de las estrategias de aprendizaje en relación con el rendimiento académico, desempeño de estudiantes de primer ingreso, autogestión del aprendizaje, metodologías innovadoras o la manera que el aprendizaje se realiza en diferentes áreas del conocimiento (Gargallo et al., 2014; Martínez y Meza, 2013; Peculea y Peculea, 2017).
Este cuestionario ha sido objeto de algunos procesos de validación en América Latina, con el fin de contextualizar el instrumento e identificar el tipo de estrategias de aprendizaje que utilizan los estudiantes en esta parte del mundo.
Por su parte, Hilt y Rodríguez (2013) realizaron un proceso de valoración de la estructura interna (consistencia interna y análisis factorial) del CEVEAPEU en estudiantes mexicanos. De lo cual, el resultado fue que el 92 % de las estrategias tuvieron un comportamiento similar al cuestionario inicial; cabe mencionar que se mantuvieron 82 ítems; por lo tanto, la confiabilidad del instrumento validado fue aceptable.
Bustos et al. (2017) realizaron el proceso de validación con estudiantes peruanos: Ellos evaluaron la validez factorial, la fiabilidad y las evidencias de validez del cuestionario. La validez factorial se evaluó a través de análisis factorial confirmatorio. Se confirmó la estructura de 10 de los 15 factores propuestos en el cuestionario original, con índices de ajuste adecuados para las dos escalas. El índice de consistencia interna para las escalas fue de .879 y de .886. El rendimiento académico correlacionó positivamente con la mayoría de las estrategias de aprendizaje.
En Guatemala, Aldana-Rabanales (2021) determinó los parámetros de validez y confiabilidad del CEVEAPEU, para lo cual realizó:
el análisis factorial exploratorio de cada una de las seis subescalas para determinar la validez de constructo. Como resultado, de las seis subescalas, dos mostraron factores según el modelo teórico original, y cuatro de las seis son diferentes, reduciéndose el número de factores para la muestra de estudiantes. El instrumento final, en esta aplicación, según cargas factoriales, quedó conformado por seis subescalas, 19 estrategias y 83 ítems. (pp. 15-16)
Para el caso de Colombia, algunos autores han utilizado el CEVEAPEU para realizar diversos procesos de validación. Roys y Pérez (2018) sometieron el instrumento al cotejo, consulta y juicio de expertos (validez de contenido). Además, se halló la fiabilidad del cuestionario en cada una de sus estrategias, sin embargo, hubo diferencias con el original. Jerónimo-Arango et al. (2020) aplicaron las escalas de estrategias de apoyo y control y estrategias relacionadas con el procesamiento de la información, se determina su fiabilidad a partir del alfa de Cronbach en cada una de las subescalas y estrategias. García et al. (2020) integraron el CEVEAPEU con un instrumento que mide los estilos en el uso de Internet. Antes de realizar la combinación, los autores realizaron un proceso de validación aparente, con dos expertos que analizaron:
Si la pregunta cumple o no cumple con las condiciones de facilidad de lectura, consistencia de estilo y formato, así como claridad en el lenguaje utilizado. Las puntuaciones obtenidas se utilizan para calcular el índice Kappa de Cohen como una medida del grado de acuerdo entre dos mediciones mediante un estudio de concordancia. (García et al., 2020, p. 5)
Por características de forma se modificaron cuatro de los ítems del cuestionario original.
Así las cosas, las diferencias en los resultados de las validaciones del CEVEAPEU en el contexto latinoamericano y colombiano muestran la necesidad de ampliar estudios de validación, de manera que estos permitan mejorar la estructura del instrumento. Es importante, además, la posibilidad que brinda para predecir el rendimiento académico (Hilpert et al., 2013), que es el interés de muchos de los trabajos que se hacen en este campo.
Objetivo
El objetivo de esta investigación es la adaptación y validación, en el contexto colombiano, de un instrumento utilizado para medir las estrategias de aprendizaje en estudiantes de pregrado de diversos estudios universitarios. Para la consecución de este propósito, se ha definido utilizar el cuestionario CEVEAPEU (Gargallo et al., 2009). De esta manera, se busca que los profesionales del ámbito educativo puedan acceder a un instrumento validado en el país, que les permita evaluar las estrategias de aprendizaje para que, a partir de los resultados, se identifiquen las fortalezas y las oportunidades de transformación, con el fin de planificar transformaciones que contribuyan al mejoramiento de la calidad de los aprendizajes.
Metodología
Participantes
En el estudio participaron en total 2.361 estudiantes de pregrado, de los cuales 1.700 se designaron para la fase exploratoria, y 661, para la fase confirmatoria, de diferentes universidades (públicas y privadas) y regiones de Colombia. El procedimiento para la toma de la muestra fue por conveniencia. Se invitó a los docentes a aplicar el cuestionario a sus estudiantes. Se contactó a los profesores a través de redes sociales de profesionales. A los docentes que aceptaban, se les enviaba el cuestionario y se les explicaba la forma de aplicación. Cabe mencionar que, se enviaron invitaciones a profesores de todas las instituciones de educación superior del país.
Los criterios de inclusión fueron los siguientes: los estudiantes universitarios debían estar matriculados; estar de acuerdo con participar en el proceso; aceptar y responder el consentimiento informado que se anexaba al instrumento. El criterio de exclusión fue no estar de acuerdo con responder el cuestionario.
La distribución por género de la muestra para la fase exploratoria fue de 651 hombres (38,3 %) y 1.049 mujeres (61,7 %). En la fase confirmatoria participaron 357 hombres (54 %) y 304 mujeres (46 %), ambas muestras fueron de todo el país y de diferentes facultades. Para la muestra completa, la distribución se realizó de la siguiente manera: por grupos de edad, entre los 16 y los 20 años (30,9 %); entre los 21 y los 25 años (46,1 %); entre los 26 y 30 años (11,3 %); entre los 31 y 35 años (5,6 %); entre los 36 y los 40 años (3,1 %); entre 41 y 45 años (1,8 %); más de 50 años (1 %). Por semestre académico cursado, en 1.° y 2.° (18,3 %); en 3.° y 4.° (17,4 %); en 5.° y 6.° (20 %); en 7.° y 8.° (22,2 %); en 9.° y 10.° (24,9 %). A pesar del tipo de muestreo que se realizó, en la selección de la muestra se encuentran estudiantes de todas las regiones del país y de variedad de programas académicos.
Instrumentos
Gargallo et al. (2009) desarrollaron el CEVEAPEU con el objetivo de crear un cuestionario que identificara las estrategias de aprendizaje utilizadas por los estudiantes, teniendo en cuenta características que en instrumentos anteriores no se había considerado, entre ellas, las estrategias de búsqueda, recogida y selección de la información, atribuciones, interés y estado físico y anímico, memorización y transferencia, es decir, se busca la combinación entre el querer-voluntad, que es fundamental para decidir-autonomía y para poder-capacidad (López et al., 2018).
El motivo principal para escoger este instrumento se debe a que la clasificación de Gargallo et al. (2009) integra de mejor manera las estrategias que otros de los instrumentos que se revisaron. Tiene como punto de partida las limitaciones de los cuestionarios que lo antecedieron, de lo cual realizaron las correcciones y construcciones de nuevas estructuras internas completas y equilibradas. Haber organizado dimensiones de estrategias (disposicionales y de apoyo; de búsqueda, recogida y selección de información; metacognitivas, de regulación y control; procesamiento y uso de la información) dio mayor claridad y detalle. También, asume, de manera clara, planear, conocer objetivos y criterios de evaluación, autoevaluación y control de la autorregulación en lo metacognitivo. Adiciona buscar, recoger y seleccionar la información. La validación realizada por el autor se hizo en estudiantes universitarios que tienen similitudes al contexto en que se utiliza.
Gargallo (2000) determinó la clasificación de las estrategias de aprendizaje en escalas, subescalas y estrategias, las cuales hacen parte del CEVEAPEU. El instrumento original está compuesto por 88 ítems organizados en dos escalas: estrategias afectivas, de apoyo y control, y estrategias relacionadas con el procesamiento de la información. Las escalas se dividen en 6 subescalas y 25 estrategias. El estudiante debe contestar y señalar el nivel en que se encuentra de acuerdo o en desacuerdo con las afirmaciones, a través de una escala tipo Likert, en este caso, 5 puntos, donde cada numeral tiene el siguiente significado: 1 muy en desacuerdo, 2 en desacuerdo, 3 indeciso, 4 de acuerdo y 5 muy de acuerdo.
Las estrategias afectivas de apoyo y control están conformadas por las estrategias que buscan poner en marcha el proceso de aprendizaje y apoyan el sostenimiento del esfuerzo cognitivo que realiza el estudiante. Las cuatro subescalas o tipos de estrategias que conforman esta escala son estrategias motivacionales, componentes afectivos, estrategias metacognitivas y estrategias de control de contexto, interacción social y manejo de recursos.
Las estrategias motivacionales exploran el tipo de motivación que tiene el estudiante, la importancia que le da al rendimiento académico y lo que hace para mejorarlo, además del autoconcepto sobre la capacidad para aprender y el mejoramiento de la forma cómo se estudia.
La subescala de estrategias, que se centran en el componente afectivo, indaga por el estado físico y anímico del estudiante (importante para el proceso de aprendizaje), la relación entre el sueño y el descanso, el control de la ansiedad ante los exámenes, exponer en público y la habilidad para estar relajado en situaciones académicas que pueden producir estrés.
La subescala de estrategias metacognitivas identifica las fortalezas y debilidades del estudiante ante el aprendizaje, la capacidad para la organización de actividades académicas, se tiene en cuenta las acciones de mejora que realiza para aprender.
La subescala de control del contexto, interacción social y manejo de recursos indaga sobre las condiciones que el estudiante tiene para estudiar y analiza la forma como realiza el trabajo con otros, a fin de mejorar su aprendizaje.
La otra escala del instrumento corresponde a las estrategias cognitivas relacionadas con el procesamiento de la información. Esta se orienta a las operaciones mentales de adquisición, elaboración, organización y almacenamiento de la información. Se agrupa en las subescalas de búsqueda y selección de información y estrategias de procesamiento y uso de la información.
La búsqueda y selección de información explora la manera cómo el estudiante se acerca, en lo cotidiano, a la información que busca aprender y los mecanismos para identificar lo importante.
En el procesamiento y uso de la información se indaga por las acciones que el estudiante realiza para adquirir, codificar y organizar la información; memorizar, transferir y utilizar la información aprendida.
Para esta adaptación y validación no se tuvo en cuenta las estrategias motivacionales, ya que el fin de la investigación en que se encuentra incluido el instrumento no lo requería. Por lo tanto, el cuestionario que se adaptó y validó corresponde a 68 ítems del CEVEAPEAU. La estructura inicial se puede observar en la Tabla 1.
Procedimiento
El cuestionario original fue entregado a 5 docentes expertos en el tema, dos psicólogos y tres docentes universitarios, quienes revisaron el instrumento e hicieron recomendaciones acordes con el contexto colombiano (validez de contenido). Los revisores de los cuestionarios debían cumplir con ciertas características: haber realizado investigaciones sobre estrategias de aprendizaje y tener publicaciones en el tema.
A partir de la revisión y adaptación, se realizó una prueba piloto con la participación de 200 estudiantes; a quienes se organizó por grupos. En una sala, primero, el investigador les explicó el objetivo de la aplicación, después, ellos debían responder las preguntas planteadas. Se tomó nota de algunos cambios necesarios para la aplicación final en aspectos lingüísticos que mejoraban la comprensión de cada ítem (validez aparente).
Inicialmente, se tenía planeado solamente realizar la validación a partir del análisis factorial confirmatorio (AFC), dado que ya existe un marco de referencia teórico sobre el instrumento, que ha sido validado en otros lugares, pero también se encontraron diferencias entre estas validaciones y el instrumento original, en términos de eliminación de ítems, combinación de ítems en diferentes factores o en cantidad de factores, por ende, se determinó realizar el proceso completo para identificar las características del cuestionario en esta aplicación. Para el análisis factorial exploratorio (AFE), se utilizó el software SPSS versión 25 y para el análisis factorial confirmatorio, el software AMOS versión 24.
En la validez de constructo se realizó, inicialmente, un AFE, para ello, a la primera muestra de estudiantes se envió el CEVEAPEU junto con una encuesta socioeconómica. Antes de enviar el instrumento, se realizaron reuniones con los docentes que aceptaron participar en el proceso; en estos espacios se explicó la dinámica de la actividad, a fin de aplicarlo correctamente. Los cuestionarios se aplicaron en las clases virtuales que cada uno de los participantes tenía, bajo la supervisión del docente.
La participación fue voluntaria, no se dio retribución económica, además, los participantes tenían que entregar el consentimiento informado; si no se aceptaba lo planteado en el consentimiento, no se podía continuar con la aplicación del instrumento. Finalmente, se garantizó la confidencialidad de los datos y se informó a los estudiantes que podían dejar de responder las preguntas en cualquier momento.
Luego, en el caso del AFC, para analizar cómo se ajustó la estructura que se extrajo en la fase exploratoria, se aplicó el resultado del AFE a la segunda muestra de participantes, con condiciones idénticas en su implementación, con el fin de evitar efectos no deseables que pudieran alterar la recolección de datos (Díaz, 2009).
Cabe señalar que, el estudio contó con el respectivo aval institucional y del Comité de Ética.
Diseño y análisis de datos
Esta investigación está enmarcada en los estudios instrumentales (Carretero y Pérez, ٢٠٠٥, ٢٠٠٧; Montero y León, 2002). El diseño fue de tipo descriptivo, transversal, utilizado para validar el CEVEAPEU, ya que es especifico en propiedades psicométricas, como la confiabilidad y la validez (Hernández et al., 2006).
La técnica estadística para el análisis de datos fue el Modelo de Ecuaciones Estructurales (Structural Equation Modeling, SEM), que combina la regresión simple y el análisis factorial, esto permite evaluar las interrelaciones de dependencia e incorporar los efectos del error de medida sobre los coeficientes estructurales al mismo tiempo. El SEM permite “emplear múltiples medidas que representan el constructo y controlar el error de medición específico de cada variable. Esta diferencia es importante ya que el investigador puede evaluar la validez de cada constructo medido” (Cupani, 2012, p. 187).
Para la validez de contenido y aparente, el criterio para conservar la clasificación de los ítems fue que 3 a 5 jueces acordaran l mismo, y para los estudios a nivel lingüístico (redacción de los ítems, adecuación al contexto colombiano), se modificaron aquellos que fuesen señalados por, al menos, 3 de los participantes en la prueba piloto.
En el caso de la validez de constructo, en el AFE se aplicó la prueba de Kaiser-Meyer-Olkin (KMO) y de Bartlett’s para la significancia. La extracción fue realizada a través de la factorización de ejes principales, teniendo en cuenta que no se puede suponer normalidad y rotación Promax, ya que esta permite “presentar estructuras más claras, simples e interpretables” (Lloret-Segura et al., 2014, p. 1164). Se dejó abierto el número de factores que se iban a extraer y se suprimieron coeficientes con peso factorial inferior a 0,40 (Valderrey, 2010). La consistencia interna de las dimensiones extraídas se examinó mediante el alfa de Cronbach.
Para el AFC, se llevó la estructura al Programa AMOS, con el fin de revisar la adecuación del modelo a los datos empíricos, considerando algunos índices de bondad de ajuste de referencia (Escobedo et al., 2016). Se aplicó la prueba de Mardia para identificar si se cumplía la normalidad y determinar el procedimiento para el análisis de los datos. Al no cumplirse con la normalidad multivariante, se definió utilizar el procedimiento Unweighted Least Squares Estimates (ULS), que es un método de estimación de parámetros que no establece la necesidad de una distribución determinada (Flora y Curran, 2004). Después de ajustar el modelo se determinó la confiabilidad y la validez del instrumento (convergente y discriminante). La validez convergente tiene que ver con el grado de certeza de los indicadores que se proponen al medir un mismo factor o variable latente (Rubia, 2019); mientras que, la validez discriminante determina que las dimensiones que no deben tener relación en realidad no la tienen (Martínez-García y Martínez-Caro, 2009).
Para establecer la fiabilidad, se utilizaron el alfa de Cronbach, el coeficiente omega y la fiabilidad compuesta (CR), esta fiabilidad debe ser mayor que 0.7; para la validez convergente, se usó la varianza promedio extraída (AVE), que debe ser mayor de 0.5, y para la validez discriminante, la raíz cuadrada de AVE debe ser mayor que las correlaciones entre construcciones (Hair et al., 2010). Se seleccionó las medidas de fiabilidad (Omega y CR) porque trabajan con las cargas factoriales y no dependen del número de ítems, por lo tanto, presentan una medida más precisa de confiabilidad (Ventura-León y Caycho-Rodríguez, 2017).
Resultados
Luego del juicio de expertos, se conservaron la totalidad de los ítems; se realizaron ajustes en algunos de ellos en cuanto a aspectos idiomáticos propios del país de origen del cuestionario o del contexto educativo español, por ejemplo, “cuando hago un examen” se cambió por “cuando presento un examen”, “manual” se cambió por “libro”.
Para la validez de constructo, el KMO fue de 0,931, la significancia fue de p < .0001, lo que indica que la matriz de datos es válida para continuar con el proceso de análisis factorial (Kaiser, 1970). La varianza total explicada fue del 47,597% para diez factores extraídos. Ningún ítem presentó saturación simultánea en dos o más factores. Después de este proceso se conservaron 47 ítems de los 68 analizados. La matriz de patrón que se generó después del procedimiento enunciado se puede observar en la Tabla 2.
En la tabla anterior, la identificación del ítem está compuesto por el orden que ocupa en el cuestionario y por subescala, del que hacía parte en la propuesta original. Se observa que 4 de los 10 factores resultantes presentan composición única, es decir, responden a las propuestas de Gargallo et al. (2009), y 6 son mixtas, o sea, están conformadas por ítems de dos o más componentes.
El cálculo de consistencia interna para este análisis se realizó por medio del alfa de Cronbach, del cual se obtuvieron índices entre .705 y .821, valores que se encuentran entre aceptable y excelente (Oviedo y Campo-Arias, 2005), excepto los factores 5 y 8 cuyos alfas están por debajo de .70.
Los resultados de la matriz de componentes se llevaron al programa AMOS para realizar el análisis factorial confirmatorio. Se aplicó la prueba de Mardia a fin de identificar si se cumple la normalidad y determinar el procedimiento para el análisis de los datos, de lo cual resultó una curtosis de 453,781, que no cumple la normalidad multivariante, ya que se sugiere que este valor debe ser menor de 70; tampoco con la univariante, ya que varios de los ítems presentaron valores que caen fuera del intervalo [-1,96; 1,96] (Mardia, 1970), por lo tanto, se utilizó el procedimiento Unweighted Least Squares Estimates (ULS), para el cual no es necesario una distribución determinada; mediante este procedimiento se buscó la bondad de ajuste del modelo.
Después de este proceso se eliminaron 16 reactivos en la adecuación del modelo, se conservaron 31 de los 47 analizados. En la Tabla 3 se muestra los valores de los estadísticos de bondad de ajuste de referencia (Escobedo et al., 2016) y los medidos del modelo ajustado.
Como se puede observar, los valores están dentro de los criterios para ser aceptados como un buen modelo. De esta manera, se determina la confiabilidad y la validez del instrumento (convergente y discriminante). Para establecer estas características, se utilizaron el alfa de Cronbach, el coeficiente Omega y la fiabilidad compuesta (CR), que debe ser mayor que 0.7; para la validez convergente, se usó la varianza promedio extraída (AVE), que debe ser mayor a 0.5, y para la validez discriminante, la raíz cuadrada de AVE debe ser mayor que las correlaciones entre construcciones (Hair et al., 2010). Los resultados de estas mediciones se muestran en la Tabla 4.
Los datos de fiabilidad y validez discriminante están acordes con los umbrales establecidos (Oviedo y Campo-Arias, 2005), pero no la validez convergente en algunas de las subescalas; sin embargo, se puede aceptar esta situación, ya que AVE “es una medida más conservadora que CR. Sobre la base de CR solo, el investigador puede concluir que la validez convergente del constructo es adecuada, aunque más del 50 % de la varianza se debe al error” (Malhotra y Dash, 2011, p. 702).
Teniendo el modelo ajustado, se revisó los ítems agrupados en cada uno de los factores para determinar el modelo de la nueva estructura del instrumento. El gráfico de caminos, del modelo que emergió del proceso de adaptación y validación, se puede apreciar en la Figura 1.
La estructura final del instrumento, a partir de la organización del original, se puede observar en la Tabla 5. Todos los ítems están agrupados en sus escalas originales.
Discusión y Conclusiones
En el caso de la adaptación y validación del instrumento, se determinó, como se comentó en su momento, realizar el proceso completo de análisis factorial exploratorio (AFE) y luego el análisis factorial confirmatorio (AFC), utilizando para ello los SEM, a pesar de que el instrumento elegido se había utilizado en diversas investigaciones en el mundo y los procesos de validación que había tenido se podrían mostrar como suficientes. Una de las razones que se tuvo en cuenta para realizar este procedimiento fue el entender que la fiabilidad y validez no son características de los cuestionarios, sino que corresponden a propiedades de las interpretaciones de las medidas que proporcionan (Prieto y Delgado, 2010), por tanto, estas medidas pueden cambiar de acuerdo con los contextos. El objetivo fue identificar si el constructo teórico que está tras el instrumento se sostiene en una aplicación diferente o este se transforma y adapta a una muestra nacional, es decir, determinar los supuestos o variables de partida.
Teniendo en cuenta que el cuestionario se iba a utilizar en la conformación de otros SEM, se requería que la validación tuviera fortaleza en la relación que se encontraba entre las variables, con el fin de que posibles fallas en estas no fueran a ser trasladadas a los nuevos modelos. La bondad de ajuste del modelo generado en la validación estuvo en los criterios de aceptación como buenos. La fiabilidad compuesta y validez discriminante cumplió con los umbrales establecidos teóricamente (Fornell y Larcker, 1981), por lo tanto, se planteó que el instrumento mide aquello que dice medir. Sin embargo, el camino para llegar a estos resultados tuvo como consecuencia que los modelos teóricos planteados originalmente cambiaran en una u otra medida. Para algunos autores, “la definición de las variables del estudio condiciona la elección de los indicadores en el cuestionario” (Martínez-García y Martínez-Caro, 2009, p. 32), por ende, los autores plantean que, al encontrarse diferencias debidas a covarianzas y correlaciones, debería prevalecer lo que se ha definido a nivel teórico.
Una fortaleza del proceso de validación fue el tamaño de la muestra, que fue nacional, es decir, tuvo en cuenta estudiantes, hombres y mujeres de instituciones universitarias de todo el país, universidades de carácter privado y público, de semestres del 1.° al 10.° y de diferentes edades. La forma como se seleccionó la muestra se convierte en un limitante de cara a realizar inferencias frente a la población, ya que no hubo un proceso de aleatoriedad sistemático.
Del cuestionario de evaluación de las estrategias de aprendizaje de los estudiantes universitarios (CEVEAPEU) se tomó, para la validación, el componente afectivo y las estrategias metacognitivas, de control del contexto, de búsqueda, recogida y selección de la información, y de procesamiento y uso de la información. No se tuvo en cuenta las estrategias motivaciones, ya que, para la medición de esta variable dentro del proyecto, se utilizó el cuestionario de motivación del aprendizaje (CMA) (Villarreal-Fernández y Arroyave-Giraldo, 2022).
En total se inició el AFE con 68 ítems, agrupados originalmente en 19 estrategias, 5 subescalas y 2 escalas. El resultado final del proceso de validación, después del AFC y el ajuste del modelo, fue un instrumento de 31 reactivos, 9 estrategias, 5 subescalas y 2 escalas. Se mantuvieron las subescalas iniciales, pero se redujo la cantidad de estrategias medidas. Por su parte, Aldana-Rabanales (2021) también reportó reducción de ítems y factores en los procesos de AFE y AFC para la validación del instrumento; el autor trabajo con estudiantes de solo una institución, facultad y carrera. Esto difiere con los resultados de Bustos et al. (2017), quienes confirman la estructura propuesta inicialmente por Gargallo et al. (2009); este estudio se diferencia por la no aplicación de un AFE, y decantándose por la confirmación de la estructura en la población peruana; cabe anotar que, este estudio se realizó en una universidad de carácter privado, donde se aplicó los SEM para su desarrollo, de lo cual se logró determinar un modelo con buen ajuste.
El instrumento de medición de las estrategias de aprendizaje quedó conformado por 5 componentes: afectivo; metacognitivo; control del contexto y manejo de recursos; búsqueda y selección e información, y procesamiento y uso de la información. 9 factores: estado físico y anímico; ansiedad; planificación; control del contexto; habilidades de interacción social y aprendizaje con compañeros; conocimiento de fuentes y búsqueda de información; elaboración, organización, personalización y creatividad; pensamiento crítico. En total, el instrumento final conservó 31 ítems. Los reactivos se organizaron de acuerdo con el cuestionario original, aunque una buena parte de ellos no alcanzó los indicadores necesarios para ser incluidos en el resultado final, por esta razón, 9 factores desaparecieron, aunque los componentes se mantuvieron. En este sentido, se puede pensar que las diferencias se deben porque los estudiantes no utilizan estas estrategias, las de los factores eliminados, o que los resultados no permiten su inclusión. Los resultados psicométricos del cuestionario final son aceptables gracias a que la adaptación y validación se comprueban.
En todas las validaciones se debe tener en cuenta que la eliminación de ítems presenta como limitación que se puede afectar la representatividad del constructo. Eliminar toda una subescala lleva al planteamiento de nuevos interrogantes y habría que revisar en las demás dimensiones el grado de afectación al tener menos reactivos para cada una.
El proceso de validación realizado permitió que el uso del instrumento sea considerado como válido y confiable para estudiantes universitarios del contexto educativo colombiano. De todas maneras, las condiciones de aplicación suelen ser diferentes y siempre es importante realizar nuevos estudios en diferentes niveles educativos, que puedan dar cuenta de información psicométrica más sólida. Para futuros estudios, se debe revisar los ítems eliminados, la redacción y hacer la prueba en investigaciones futuras, analizar la consistencia interna con los demás ítems y, si es posible, utilizarlos en otras aplicaciones del instrumento; el replanteamiento de estos ítems puede modificar la estructura de las relaciones de los factores y subescalas. Sería relevante indagar sobre la validez predictiva y de criterio del instrumento, para ello, se debe analizar el grado de predicción del rendimiento académico que tiene y confrontar con otro cuestionario que mida el mismo constructo que tenga iguales o mejores características, de manera que se puedan reunir mayores evidencias sobre su calidad.
Conflicto de intereses
El autor de este artículo declara no tener ningún tipo de conflicto de intereses del trabajo presentado.
Referencias
Aldana-Rabanales, K. (2021). Cuestionario de evaluación de estrategias de aprendizaje para estudiantes universitarios (CEVEAPEU) validación con estudiantes guatemaltecos. Revista Electrónica en Educación y Pedagogía, 5(9), 15–27. https://doi.org/10.15658/rev.electron.educ.pedagog21.11050902
Beltrán, J. (1993). Procesos, estrategias y técnicas de aprendizaje. Síntesis.
Bustos, V., Oliver, A., Galiana, L. y Sancho, P. (2017). Propiedades psicométricas del CEVEAPEU: validación en población peruana. Educación XX1, 20(1), 299-318. https://doi.org/10.5944/educXX1.11546
Carretero, H. y Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521–551. https://www.redalyc.org/pdf/337/33705307.pdf
Carretero, H. y Pérez, C. (2007). Normas para el desarrollo y revisión de estudios instrumentales: Consideraciones sobre la selección de test en la investigación psicológica. International Journal of Clinical and Health Psychology, 7(3), 863–882. https://aepc.es/ijchp/NDREI07_es.pdf
Cupani, M. (2012). Análisis de Ecuaciones Estructurales: conceptos, etapas de desarrollo y un ejemplo de aplicación. Revista Tesis, 2, 186–199. https://rdu.unc.edu.ar/handle/11086/22039
Dansereau, D. F. (1985). Learning Strategy Research. En J. Segal, S. Chipman, & R. Glaser (eds.), Thinking and learning skills (pp. 209–239). Lawrence Erlbaum Associates.
Díaz, A. (2009). Diseño estadístico de experimentos. Editorial Universidad de Antioquia.
Escobedo, M. T., Hernández, J., Estebané, V. y Martínez, G. (2016). Modelos de Ecuaciones Estructurales: Características, Fases, Construcción, Aplicación y Resultados. Ciencia & Trabajo, 18(55), 16–22. https://doi.org/10.4067/S0718-24492016000100004
Flora, D., & Curran, P. (2004). An empirical evaluation of alternative methods of estimation for confirmatory Factor analysis with ordinal data. Psychological Methods, 9(4), 466–491. https://doi.org/10.1037/1082-989X.9.4.466
Fornell, C., & Larcker, D. (1981). Structural Equation Models with Unobservable Variables and Measurement Error: Algebra and Statistics. Journal of Marketing Research, 18(3), 382–388. https://doi.org/https://doi.org/10.1177/002224378101800313
García, D., Cuéllar, O., Sastoque, J., Villarreal-Fernández, J., Hincapié, E., Botero, M. y Hénao, C. (2020). Diseño y validación de una propuesta evaluativa integral para cursos tipo MOOC [Ponencia]. 2020 15th Iberian Conference on Information Systems and Technologies (CISTI), Sevilla, España, 1–10. https://doi.org/10.23919/CISTI49556.2020.9141096
Gargallo, B. (2000). Procedimientos. Estrategias de aprendizaje. Su naturaleza, enseñanza y evaluación. Tirant lo Blanch.
Gargallo, B., Morera, I., Iborra, S., Climent, M. J., Navalón, S. y García, E. (2014). Metodología centrada en el aprendizaje . Su impacto en las estrategias de aprendizaje y en el rendimiento académico de los estudiantes universitarios. Revista Española de Pedagogía, 72(259), 415–435.
Gargallo, B., Suárez-Rodríguez, J. y Pérez-Pérez, C. (2009). El cuestionario CEVEAPEU. Un instrumento para la evaluación de las estrategias de aprendizaje de los estudiantes universitarios. Relieve, 15(2), 1-31. https://doi.org/10.7203/relieve.15.2.4156
Hair, J., Black, W., Babin, B., & Anderson, R. (2010). Multivariate Data Analysis. Prentice-Hall, Inc.
Hernández, R., Fernández, C. y Baptista, L. (2006). Metodología de la Investigación (4.a ed.). McGraw-Hill.
Hilpert, J., Stempien, J., Van Der Hoeven Kraft, K. J., & Husman, J. (2013). Evidence for the latent factor structure of the mslq: A new conceptualization of an established questionnaire. SAGE Open, 3(4), 1–10. https://doi.org/10.1177/2158244013510305
Hilt, J. y Rodríguez, J. (2013, 18 al 22 de noviembre). Validación del CEVEAPEU en estudiantes universitarios mexicanos [Ponencia]. XII Congreso Nacional de Investigación Educativa, Guanajuato, México. https://www.comie.org.mx/congreso/memoriaelectronica/v12/doc/0517.pdf
Jerónimo-Arango, L., Yaniz-Álvarez-de-Eulate, C. y Carcamo-Vergara, C. (2020). Estrategias de aprendizaje en estudiantes colombianos de grado y posgrado. Magis, Revista Internacional de Investigación en Educación, 13, 1–20. https://doi.org/10.11144/Javeriana.m13.eaec
Kaiser, H. F. (1970). A second generation little jiffy. Psychometrika, 35, 401–415. https://doi.org/10.1007.BF02291817
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151–1169. https://doi.org/10.6018/analesps.30.3.199361
López, P., Gallegos, S., Vilca, G. y López, M. (2018). Estrategias de aprendizaje en estudiantes de Ciencias Sociales: un estudio empírico en la Escuela Profesional de Sociología UNAP. Comuni@cción, 9(1), 35–47. http://www.scielo.org.pe/pdf/comunica/v9n1/a04v9n1.pdf
Malhotra, N. K., & Dash, S. (2011). Marketing Research an Applied Orientation. Pearson Publishing.
Martínez-García, J., & Martínez-Caro, L. (2009). La validez discriminante como criterio de evaluación de escalas: ¿teoría o estadística? Universitas Psychologica, 8(1), 27–36. http://www.scielo.org.co/pdf/rups/v8n1/v8n1a2.pdf
Martínez, M. y Meza, J. (2013). Estudio comparativo: estrategias de aprendizaje, habilidades de autorregulación, metacognitivas y percepción de autoeficacia de alumnos de la licenciatura en psicología presencial y SUAyED de la FES-Iztacala. Revista Electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías, 2(1), 39–50. https://chat.iztacala.unam.mx/cshat/index.php/cshat/article/view/43/37
Monereo, C. (2009). Estrategias de enseñanza y aprendizaje. Formación del profesorado y aplicación en la escuela. Grao.
Montero, I. y León, O. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de la Salud, 2(3), 503–508. http://www.aepc.es/ijchp/articulos_pdf/ijchp-53.pdf
Oviedo, H. y Campo-Arias, A. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 34(4), 572–580. http://www.scielo.org.co/pdf/rcp/v34n4/v34n4a09.pdf
Peculea, L., & Peculea, A. (2017). A Correlative Study between Learning Strategies and Independent Learning at First Year Students Preparing to Become Teachers. Journal of Educational Science & Psychology, 7(1), 158–162. https://www.researchgate.net/profile/Edmond-Sebestyen/publication/323151323_A_pilot_study_of_time_management_behavior_scale_with_background_questions_amongst_university_students_Journal_of_Educational_Sciences_and_Psychology_VII_1B_17-22/links/5ab10e180f7
Pintrich, P. R. (2004). A conceptual Framework for assessing motivation and Self-regulated learning in college students. Educational Psychology Review, 16(4), 385–407. https://doi.org/10.1007/s10648-004-0006-x
Prieto, G. y Delgado, A. (2010). Fiabilidad y Validez. Papeles del Psicólogo, 31(1), 67–74. https://www.papelesdelpsicologo.es/pdf/1797.pdf
Roys, J. y Pérez, Á. (2018). Estrategias de aprendizaje significativo en estudiantes de educación superior y su asociación con logros académicos. Revista Electrónica de Investigación y Docencia (REID), (19), 145–166. https://doi.org/10.17561/reid.v0i19.3570
Rubia, J. (2019). Revisión de los criterios para validez convergente estimada a través de la Varianza Media Extraída. Psychologia. Avances de la Disciplina, 13(2), 25–41. https://doi.org/10.21500/19002386.4119
Valderrey, P. (2010). SPSS 17. Extracción del conocimiento a partir del análisis de datos. RA:MA.
Ventura-León, J. y Caycho-Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 15(1), 625–627. https://www.redalyc.org/journal/773/77349627039/html/
Villarreal-Fernández, J. y Arroyave-Giraldo, D. (2022). Adaptación y validez de la escala de motivación del Motivated Scale Learning Questionnaire (MSLQ) en universitarios colombianos. Electronic Journal of Research in Educational Psychology, 20(56), 119–150. https://dialnet.unirioja.es/servlet/articulo?codigo=8397541
Weinstein, C. E., & Mayer, R. (1986). The teaching of learning strategies. En M. C. Wittrock (ed.), Handbook of research on teaching (pp. 315–327). Macmillan.
