INTRODUCCIÓN

En la elaboración de un instrumento de medición documental, el proceso de investigación cualitativa permite conocer las fases de la elaboración y validación del instrumento, dependiendo de las variables a estudiar. Es un factor determinante para el investigador, porque permite legitimar la información para cuantificar, posteriormente, de forma significativa y adecuada el rasgo para cuya medición ha sido diseñado. El problema radica en la elaboración de un instrumento, considerando que para cada investigación se necesita reconocer las características particulares de dicha investigación. Según García Sánchez, Aguilera Terrats, & Castillo Rosas, (2011)“la elaboración de un instrumento de medición no es una tarea fácil. Su diseño y validación, tratándose de un instrumento dirigido a evaluar las actitudes humanas es difícil, sobre todo, si se considera lo etéreo del problema” (p.2).

El objetivo de este artículo es explicar el proceso de elaboración y validación de un instrumento de medición documental para conocer los niveles de motivación de los estudiantes de ingeniería de la Universidad de Panamá, relacionando el rendimiento académico y la motivación (Cupani, et. al., (2016). La revisión literaria permite al investigador elaborar las fases y una secuencia lógica cónsona con la conceptualización de la investigación, correspondiente a un instrumento de medición.

Para Soriano Rodríguez (2014), los instrumentos, se convierten en la herramienta concreta y operativa que facilitará al investigador la recolección de los datos, producto de una relación interdependiente entre paradigma, epistemología, teorías y metodologías; sin la definición, claridad, posicionamiento e interrelación de éstas, no debería diseñarse un instrumento (p.3).

En ese sentido, los autores Pérez et. al., (2000) señalan que:

Cuando tratamos con características físicas simples o de bajo nivel inferencial, como la longitud y el peso, éstas gozan de la ventaja de ser conceptos muy arraigados en la historia de la humanidad y ello permite establecer casi de modo automático o axiomático su conceptualización no así cuando hablamos de otras dimensiones (p.12).

La elaboración de un instrumento se presenta en dos fases: una fase cualitativa que es la elaboración del contenido, se presentan las preguntas o ítems, y otra fase cuantitativa que es la evaluación de las propiedades métricas de ese contenido, o sea el conjunto de preguntas o ítems. En la elaboración del instrumento al contenido se le confiere validez mediante la revisión literaria del concepto, la creación de una lista de palabras clave, la formulación de preguntas a partir de esas palabras clave, la validez racional, la validez por expertos y la aproximación a la población, para culminar con la evaluación del contenido por jueces. Para la evaluación de las propiedades métricas del contenido (ítems) se utilizan las siguientes formas: validez interna, validez del constructo, validez del criterio, la estabilidad y el rendimiento del instrumento, manteniendo esta secuencia. El estadístico Alfa de Cronbach y otras herramientas estadísticas que determinarán la fiabilidad del instrumento de medición.

metodología

Para la elaboración del instrumento de medición de los estudiantes de ingeniería de la Universidad de Panamá se tomarán en cuenta las dos fases explicadas anteriormente, esto es la cualitativa (elaboración del contenido), y la cuantitativa (evaluación de las propiedades métricas de ese contenido).

En la investigación sobre gerencia de la calidad educativa es relevante construir el instrumento de medición para relacionar las variables motivación y rendimiento académico de los estudiantes. A continuación se explica el desarrollo de cada fase:

Validez de contenido

Para Herrera (1998), citado por Soriano Rodríguez, (2014)“un instrumento de medida es una técnica o conjunto de técnicas que permitirán una asignación numérica que cuantifique las manifestaciones de un constructo que es medible solo de manera indirecta” (p.5). En esa misma línea de concepto, Sandin (2003), citado por Soriano Rodríguez, (2014), afirma que “los instrumentos de investigación son herramientas operativas que permiten la recolección de los datos; sin embargo, debe tenerse en cuenta que las prácticas de investigación sin una epistemología definida, se convierten en una instrumentalización de las técnicas" (p.8). Estos conceptos permiten definir que todo instrumento deberá ser producto de una articulación entre paradigma, epistemología, perspectiva teórica, metodología y técnica para recolección y análisis de datos. Para, Soriano Rodríguez (2014) "en la elaboración de instrumentos se debe tener claridad de los conceptos sobre constructo teórico, medición, confiabilidad y validez" (p.9).

En este caso en particular, la validez de contenido es la fase cualitativa que corresponde a la creación del instrumento. Se deberán considerar los puntos siguientes:

Revisión literaria del concepto

Se basa en la búsqueda literaria del concepto que determina la investigación. En esa búsqueda, el investigador puede encontrar un modelo similar, o puede encontrar un modelo parcialmente parecido, así como puede que no encuentre un modelo que se adapte a sus necesidades. En este caso se debe elaborar un instrumento acorde con el concepto de investigación. Para determinar la evaluación de los niveles de motivación y rendimiento académico en los estudiantes de ingeniería de la Universidad de Panamá, la revisión deberá seguir una secuencia lógica para definir los niveles de motivación y así poder mantener el rendimiento académico, basados en el estado del arte.

Creación de una lista de palabras clave

Una vez revisada la literatura, y determinado el hecho de contar con la información necesaria, se deberá realizar una entrevista abierta al grupo en estudio y con los resultados arrojados por la muestra representativa, se crea una lista de palabras clave que más adelante servirán para la formulación de los ítems.

Formulación de preguntas o ítems a partir de las palabras clave

La formulación de los ítems nace de la lista de las palabras clave que se realice a la muestra representativa de la población de estudio. Allí se integran la sintaxis y la semántica, ya que cada ítem debe formular enunciados unívocos; esta etapa de revisión corresponde a un juez, quien determinará si la formulación cumple con parte de la validez racional.

Validez racional

Cumplida la formulación de ítems, el paso siguiente es determinar si la cantidad de preguntas del concepto que se desea evaluar cumple con el contenido que se desea evaluar. En este aspecto, (Lagunes Córdoba, 2017) señala que:

…si se atiende a lo que el investigador pretende alcanzar; esta etapa de revisión corresponde a un experto, porque este es quien conoce del tema. En otras palabras, es experto en el tema o en la materia y el conocimiento que confiere al instrumento, complementa la validez racional (p.10).

Validación por expertos

La validación por expertos se realiza a través de una entrevista con al menos dos expertos, para obtener y considerar sus opiniones con respecto al contenido del instrumento. En este sentido, Robles & Rojas (2015) afirman:

… tras someter un instrumento de cotejo a la consulta y al juicio de expertos éste ha de reunir dos criterios de calidad: validez y fiabilidad. La validez de contenido se establece con frecuencia a partir de dos situaciones, una que atañe al diseño de una prueba y, la otra, a la validación de un instrumento sometido a procedimientos de traducción y estandarización para adaptarlo a significados culturales diferentes. Validez y fiabilidad son los dos criterios de calidad que debe reunir todo instrumento de medición tras ser sometido a la consulta y al juicio de expertos con el objeto de que los investigadores puedan utilizarlo en sus estudios (p.7).

Una pregunta que surge cuando se intenta medir el comportamiento es, qué tan válida y confiable es la medición. Según Fraticelli et al (2018) esta técnica debe realizarse de manera adecuada, ya que muchas veces constituye el único indicador de la validez de contenido.

Verificación del concepto a nivel de población

La aproximación de la población es la verificación del concepto que se realiza directamente consultando con la población, verificando si se entiende el concepto que se pretende medir. Cuando la población no entiende el concepto de la investigación, los resultados producirán un sesgo que distorsionará los objetivos del investigador. Para evitar esa distorsión, el instrumento se someterá a la evaluación por jueces.

Evaluación del contenido por jueces

Al tener la formulación de los ítems, se realiza una evaluación de contenido por un jurado experto en la materia que denominaremos jueces. Esta evaluación dará la validez de la elaboración del instrumento de medición. Todo este proceso es cualitativo y no requiere de un análisis estadístico. Esta metodología previamente definida debe tener una secuencia paso a paso y permite obtener un instrumento de medición con validez de contenido.

Los pasos anteriormente descritos no garantizan la validez; por lo que es importante, realizar la evaluación de las propiedades métricas del instrumento de medición documental. Esto se resume en: validez interna, validez de constructo, validez de criterio, estabilidad y rendimiento.

Validez interna

La validez interna evalúa el contenido del instrumento de medición que se ha creado y se realiza a través de la evaluación de claridad que tienen los ítems redactados, mediante una prueba piloto. Si la respuesta obtenida de la muestra se desprende que los ítems no han sido correctamente redactados, no podemos evaluar la consistencia interna.

Al respecto, Timarán Delgado, Moreno Portilla, & Luna Tascón (2011) señalan que:

Una vez construidos sintáctica y semánticamente los ítems, de acuerdo con el nivel de comprensión de la muestra y con la terminología adecuada, se analizará la variabilidad de los ítems y luego la variabilidad global; esta fase determina la relación estadística total del instrumento mediante la desviación estándar que diagnostica qué tan lejano se encuentra el ítem de la media, y la correlación que indica qué tan relacionados se encuentran los ítems (p.63).

Validez de constructo

Para realizar el proceso de validez del constructo, lo primero que debemos conocer es el significado del constructo que siempre aparece cuando realizamos alguna validación de instrumentos, y lo podemos definir como sinónimo de concepto. Ilustremos el concepto mediante un ejemplo: si deseamos construir un instrumento de medición de las operaciones aritméticas básicas, debemos incluirlas todas: suma, resta, multiplicación y división. Si faltara alguna de ellas, o si se incluye alguna otra operación fuera de ese rango, no se cumple con el contenido del instrumento que va a evaluar esas operaciones. Eso conduce a no cumplir con la validez del constructo. En el caso de los estudiantes de ingeniería de la Universidad de Panamá, la validez del constructo estará conformada por los niveles de motivación, donde se tomarán en cuenta los niveles de motivación intrínseca y extrínseca.

Para Messick, (1980), y Cronbach, (1984), citados por Pérez J, Chacón Moscoso, & Moreno Rodríguez, (2000), la validez de constructo es la principal en los tipos de validez, en tanto que la validez de constructo es el concepto unificador que integra las consideraciones de validez de contenido y de criterio en un marco común para probar hipótesis acerca de relaciones teóricamente relevantes (p.29). En este mismo sentido Cronbach, (1984) señala que “la meta final de la validación es la explicación y comprensión y, por tanto, esto nos lleva a considerar que toda validación es validación de constructo” (p.26).

Al construir el instrumento no pueden faltar en la medición de la motivación los diferentes niveles (intrínsecos y extrínsecos). Con estos datos se hace simple la elaboración del instrumento porque el concepto está definido. En el ejemplo de las operaciones aritméticas básicas, los datos están claramente definidos, pero al evaluar el constructo de la motivación, estos no están plenamente definidos, por lo que se requiere de su elaboración partiendo de las necesidades del investigador. Existen dos métodos menos complicados para estos casos: primero, es el método cualitativo, que es la validez de contenido y segundo por el método cuantitativo y se desarrolla mediante el análisis factorial. Se puede realizar con el primer método, pero si el constructo no está claramente definido, tendremos que recurrir al análisis factorial por ser más directo.

El análisis factorial nos permite agrupar los ítems en dimensiones similares, mientras que con otras técnicas solo se diagnostican las dimensiones individuales entre ítems o preguntas. Cuando un instrumento no tiene agrupados sus ítems, se dice que cada ítem es una dimensión (Merino y Privado, 2015, p.46). El objetivo es agrupar los ítems en dimensiones, lo que permite obtener menos dimensiones, y es la razón por la que este procedimiento se le conoce también como reducción de dimensiones.

Validez de criterio

La validez de criterio se puede evaluar cuando existe una forma de corroborar el resultado que se obtuvo. Para Shutteworth (2009):

Comparar la prueba con una medida establecida recibe el nombre de validez concurrente; probarla durante un período de tiempo se denomina validez predictiva [...] Una de las formas más sencillas de evaluar la validez relacionada con el criterio es compararla con un estándar conocido (p.32).

La validez concurrente para cuestionarios es distinta a la validez concurrente para escalas por el resultado final que se obtiene cuando se evalúa. Se debe tener presente que los cuestionarios tienen resultados dicotómicos y las escalas tiene resultados ordinales. Por lo tanto, la validez concurrente para un cuestionario se validará con un índice de concordancia y para las escalas será un índice de correlación. Si no existe una forma de corroborar el resultado de la medición, el criterio considera la evolución de la variable que desea medir; en este caso hablamos de una validez predictiva de un instrumento.

Estabilidad

Al referirnos a la estabilidad del instrumento representamos diferentes escenarios en los cuales podemos determinar su estabilidad. “se puede decir que la confiabilidad es una medición del error que puede generar un instrumento al ser inestable y aplicarse en diferentes condiciones” (Sánchez & Echeverry, 2004, p.34). Según Arribas (2004), “estabilidad temporal: es la concordancia obtenida entre los resultados del test al ser evaluada la misma muestra por el mismo evaluador en dos situaciones distintas” (p.37). La estabilidad de las variables podemos catalogarlas como intraoperador y entre operadores. Este procedimiento lo podemos explicar de la siguiente manera: si una misma persona realiza la medición con el mismo instrumento a la misma unidad de estudio se tendrían que obtener los mismos resultados; esto sería una estabilidad intraoperador. En el segundo escenario, sería si dos evaluadores distintos utilizan un instrumento para evaluar a la misma unidad de estudio, significaría que el resultado también debe ser igual. Es decir que se trata de una estabilidad interoperador. En un tercer escenario, si evaluamos la misma variable en el tiempo también tendría que mantenerse estable. Estos resultados de los diferentes escenarios permiten reflexionar que los resultados de una medición son independientes del operador y del tiempo.

Rendimiento

En este nivel de investigación, el instrumento de medición que se ha creado debe tener el grado óptimo de seguridad y de optimización. Para Caso, Díaz, & Chaparro (2013), “el uso de metodologías para la optimización de la medida de constructos complejos propone la construcción de micro- instrumentos de medida a partir de instrumentos diseñados para un constructo especifico” (p. 28). Para lograr esto se debe hacer una calibración del punto de corte o baremación. Esto no es más que una optimización del punto de corte con fines diagnósticos.

Este procedimiento es una prueba de balance a la sensibilidad y la especificidad del instrumento que se pretende medir para evitar los errores de los niveles uno y dos antes mencionados, al tomar decisiones a partir del diagnóstico que se ha realizado en el instrumento validado. Caso, Díaz, & Chaparro, (2013) afirman que “esta metodología busca seleccionar los ítems de la escala que mejor permitan mantener las características métricas de la misma. El objetivo es ir reduciendo el instrumento, eliminando aquellos ítems que tengan un comportamiento menos claro o aporten menos información” (p.14).

Los pasos presentados son los básicos requeridos para validar instrumentos de medición documental. El concepto más relevante es que para validar un instrumento no existe una receta única, esto tiene su razón de ser, porque la validación del instrumento es un diseño exclusivo de la investigación. Esto significa que por cada instrumento que se elabore la validación se realiza de forma distinta, lo que se necesita es tener claro el método con el cual se valida un instrumento.

Por otro lado, es importante conocer las herramientas estadísticas para realizar la medición de las propiedades métricas, ya que sin estadísticas no es posible realizar la validación de instrumentos de medición. Específicamente, podemos afirmar que la validez del contenido no asegura la validez total; se necesita procesar mediante los diferentes niveles de investigación y así ir por toda la línea de investigación que implica crear y validar un instrumento de medición de variable subjetiva.

Resultados

El proceso de elaboración y validación de un instrumento de medición documental para determinar la motivación de los estudiantes de ingeniería de la Universidad de Panamá, deberá cumplir con las fases determinadas por el investigador para abarcar teóricamente la mayor cantidad de elementos que contribuyan a su desarrollo, midiendo lo que debe medir y cumpliendo metodológicamente con el proceso de elaboración de contenido y la evaluación de las propiedades. Así, se presenta la propuesta de secuencia lógica para lograr este cometido. Ver Fig.1 y Fig.2.

Figura 1
Validación de contenido
Fuente: Elaboración propia.

Figura 2
Validación de las propiedades métricas del instrumento.
Fuente: Elaboración propia.

CONCLUSIONES

En investigación, para la elaboración de instrumentos destinados a evaluar la relación de variables, se hace necesario y relevante pasar por todo un proceso sistemático en su elaboración, este proceso garantiza que la información de resultados que se obtenga sea válida, confiable y que conduzca a una toma de decisiones cónsona con las expectativas del investigador.

La creación de las preguntas (ítems) es el resultado de conocer el concepto del tema denominado validación del constructo que debe tener un respaldo de la validez racional, validez por expertos y aproximación de la población. De otra manera, el investigador obtendría información inadecuada con resultados que afectarían la muestra representativa de la población en estudio y producir sesgos que distorsionarán los objetivos del investigador.

El procedimiento de la elaboración del instrumento de medición documental le permite al investigador definir para cada investigación un adecuado y único instrumento.

Es fundamental tener presente que sin la ayuda de la estadística no es posible realizar la validación de instrumentos documentales; la validez de contenido no asegura la validez total de un instrumento, se debe seguir los diferentes niveles de investigación para recorrer toda la línea que implica crear y validar un instrumento de medición para una variable subjetiva.

Referencias

Arribas, M. (2004). Diseño y validación de cuestionarios. Matronas profesión , 23-29.

Caso, N., Díaz, C., & Chaparro, A. (2013). Aplicación de un procedimiento para la optimización de la medida de la convivencia escolar. RIEE Revista Iberoamericana de Evaluación Educativa, 137-145.

Cupani et al. (2016). Desarrollo de un banco de ítems para medir conocimiento en estudiantes universitarios. Revista de Psicología, 25(2), 1-18.

Fraticelli, F.R., González, R.O., Uribe, A.F., Moreno, I., & Orengo, J.C. (2018). Investigación: Diseño, construcción y validación de una escala para medir los factores psicosociales y la sintomatología orgánica en el área laboral. Informes Psicológicos, 18(1), 95-112.

García Sánchez, J., Aguilera Terrats, J., & Castillo Rosas, A. (2011). Guía técnica para la construcción de escalas de actitud. Odiseo, revista electrónica de pedagogía, 1-13.

Lagunes Córdoba, R. (2017). Recomendaciones sobre los procedimientos de construcción y validación de instrumentos y escalas de medición en la psicología de la salud. Psicología y Salud, 27(1), 5-18.

Merino, D. & Privado J. (2015). Positive Psychological Functioning. Evidence for a new construct and its measurement. Anales de Psicología, 31(1), 45-54.

Pérez, J. A., Chacón Moscoso, S., & Moreno Rodríguez, R. (2000). Validez del constructo: el uso de análisis factorial exploratorio- confirmación para obtener evidencias de validez. Psicothema, 442-446.

Robles, P., & Rojas, M. (2015). La validación por juicio de expertos: dos investigaciones cualitativasen linguistica aplicada. Nebrija, 18.

Sánchez, R., & Echeverry, J. (2004). Validación de escalas de medición en salud. Salud pública, 302-3018.

Shutteworth, M. (12 de Enero de 2009). Validez de criterio. Obtenido de https://explorable.com/es/validez-de-criterio

Soriano Rodríguez, A. (2014). Diseño y validación de instrumentos de medición. Editorial Universitaria Don Bosco, 19-40.

Timarán Delgado, C., Moreno Portilla, M., & Luna Tascón, E. (2011). Construcción y validación de un cuestionario para identificación de factores asociados al desempeño escolar (FADE). Acta Colombiana de Psicología, 14(2), 57-67.