Introducción

Cada vez es más importante disponer de instrumentos que recojan la información necesaria para el cálculo de indicadores que permitan evaluar atributos y variables que integran constructos, dimensiones o conceptos más complejos como medio para definir acciones. Su importancia radica en que permiten medir de forma válida y confiable el objeto de estudio.(1,2,3,4) Es clave comprender que un proceso de validación deficiente reduce las posibilidades de hacer comparaciones, impide el intercambio de información y puede conllevar a toma de decisiones erróneas o inadecuadas.

Para considerar válida una escala, esta debe cumplir una serie de características, para lo cual, según Escobar y Cuervo,(5) es primordial contar en el proceso de construcción con el juicio de expertos(5) y con la definición de cada uno de los aspectos metodológicos conceptuales, como sugieren en su revisión sistemática sobre el tema García y Suarez,(6) adecuándolos en cada caso al objeto de estudio de que se trate.

Los ítems, que componen el instrumento de recogida de información necesaria para el cálculo del índice de desarrollo de las tecnologías de la información y las comunicaciones en salud, se corresponden con los indicadores intermedios que componen ese indicador sintético, que consiste en instrumentos de medición analítica que toman en cuenta un agregado de todas las dimensiones, objetivos, indicadores individuales y variables utilizadas. Esto conlleva a que la validación de ese instrumento constituye en sí, la validación del sistema de indicadores y del indicador sintético, y de esta forma poder alcanzar el índice de desarrollo, como una importante herramienta de análisis, promovida por la Unión Internacional de Telecomunicaciones (UIT) para evaluar el crecimiento de la sociedad de la información a escala mundial, regional y nacional.(7,8,9,10)

Este trabajo se propuso como objetivo validar un indicador sintético diseñado para medir el impacto de las tecnologías de la información y las comunicaciones en el sistema nacional de salud.

Métodos

e realizó un estudio de desarrollo tecnológico con el objetivo de validar el indicado

Se realizó un estudio de desarrollo tecnológico con el objetivo de validar el indicador sintético propuesto por Delgado Ramos y otros(11) para medir el impacto de las TIC en salud.

Para ello se diseñó un instrumento que tuvo en cuenta los siguientes criterios.

− Confiabilidad:

• Fiabilidad. Es el grado en que el instrumento es capaz de medir sin error.

  Consistencia interna. Los ítems que miden un mismo dominio deben estar más correlacionados entre sí que los ítems que miden diferentes dominios. Si el puntaje de correlación entre ítems es muy elevado, está reflejando que miden un mismo fenómeno o que con uno de ellos basta para medir el fenómeno, pues los demás están dando información redundante.

  Para ambos casos se empleó el coeficiente alfa de Cronbach (α); calculado, además, para cada uno de los componentes (ecuación).

  Las medidas de homogeneidad deben estar entre 0,7 y 0,9.

  Confiabilidad test-retest. Evalúa la estabilidad de la capacidad de medición del indicador a lo largo del tiempo. Se empleó el coeficiente de correlación intraclases (ρI). En este caso se aplicó dos veces el instrumento en las mismas unidades con un intervalo de seis meses. Los valores de (ρI) entre 0,7 y 0,8 se consideraron aceptables y por encima de 0,8 buenos.

  Confiabilidad interevaluador. Mide, qué tan similares son los valores proporcionados por diferentes evaluadores al mismo fenómeno. También se empleó el coeficiente de correlación intraclases (ρI) que, idealmente debe estar alrededor de 0,8. No se aceptan valores menores de 0,6.(4)

  La confiabilidad test-retest la evaluaron los jefes de informática de las provincias y el municipio especial Isla de la Juventud y la confiabilidad interevaluador los jefes de informática de unidades de subordinación nacional.

  En general se consideraron tres tipos de coeficientes de confiabilidad que se obtuvieron mediante procedimientos estadísticos:(12)

• − Consistencia interna. Se enfoca en la cohesión de las respuestas a los ítems de un instrumento.

  − Estabilidad (test-retest). Que se refiere a la consistencia de las puntuaciones a lo largo del tiempo o en diferentes ocasiones.

  − Equivalencia. El cual concierne a determinar si dos o más formas paralelas de un instrumento producen puntuaciones o resultados similares.

La fiabilidad mide la proporción de variación en las mediciones que se debe a la diversidad de valores que toma una variable y que no es producto del error sistemático (sesgo) o aleatorio (azar). En otras palabras, la fiabilidad es la proporción de la varianza total atribuible a diferencias verdaderas que existen entre las diferentes mediciones. Por otro lado la consistencia interna expresa el grado de correlación y coherencia que existe entre los ítems de un dominio o componente del instrumento; es decir, evalúa si existe homogeneidad entre los ítems de cada componente, para ambas propiedades en esta investigación se usó el coeficiente alfa de Cronbach,(13,14,15) que mide la consistencia de la respuesta del sujeto con respecto a los ítems del instrumento.

− Validez:

• Validez de apariencia. Determina si el indicador realmente mide lo que tiene que medir, para lo que se utilizó en un primer momento al grupo de expertos de dirección. Se sugirió en algunos ítems la modificación de la redacción y en otros se discutió la justificación de su inclusión, lo que

  permitió su perfeccionamiento en cuanto a que el indicador mide la cualidad que se supone se va a evaluar.

  Validez de contenido. Se analizó la pertinencia de cada ítem de manera cuantitativa, con valoración individual de 0 a 5 por los grupos de expertos conformado por los jefes de informática de las provincias y el municipio especial Isla de la Juventud y el integrado por siete jefes de informática de unidades de subordinación nacional. Se eliminaron los ítems con puntuación inferior a 4,0.

  Validez de constructo. Esta propiedad evalúa el grado en que el instrumento refleja adecuadamente la teoría subyacente del fenómeno que se quiere medir y, en consecuencia, la medida coincide con la de otros instrumentos que evalúan la misma condición; aspecto complejo en este caso al ser la propuesta de los autores la primera en medir este constructo. Se utilizó el análisis factorial. Se determinó el ajuste del modelo factorial y la adecuación de la muestra y los ítems evaluados para lo cual se utilizó el test de esfericidad de Barlet(16) y el de Keiser- Meyer-Okin (KMO).(17)

  En sentido general, la validez aplicada a una prueba, es un juicio o estimación acerca de que tan bien una prueba mide lo que pretende medir en un determinado contexto, concepto refrendado por Cohen y Swerdlik, en el año 2006.(18)

  La validez de contenido busca evaluar si los diferentes ítems incluidos en el instrumento representan adecuadamente los dominios del constructo, que se pretende medir. En este proceso se determina la estructura de la escala, lo que garantiza que esta, por medio de sus ítems, abarque todos los dominios de la informatización de la salud, de tal modo que las inferencias surgidas a partir del puntaje de la escala sean válidas dentro de un amplio rango de circunstancias.

  La garantía de la validez del instrumento de recogida de la información necesaria para el cálculo del índice de desarrollo de las TIC se logró a partir

  de la evaluación del contenido de un instrumento inicial conformado por 69 ítems a partir de las ideas emanadas por los directivos.

  − Sensibilidad al cambio. Implica que el indicador pueda responder adecuadamente a las condiciones cambiantes del área de conocimiento que se está midiendo. Se aplicó el indicador dos veces en las mismas unidades en un intervalo de seis meses; conociendo de antemano que en ese período se modificó el escenario inicial de medición en algunos de los componentes, de manera tal que era de esperar que el instrumento fuera capaz de medirlo y se analizó estadísticamente a través de la comparación de las medias para muestras pareadas utilizando el estadígrafo t de Student. Participaron en esta evaluación el grupo conformado por los jefes de informática de las unidades de subordinación nacional.

  − Utilidad. Para evaluar que el indicador fuera útil se tuvo en cuenta los aspectos evaluados con el grupo de expertos conformado por los jefes de informática de las provincias mediante la técnica de grupo de discusión:

  Factibilidad. Que el instrumento para la recogida de información necesaria para el cálculo del indicador sintético fuera posible de aplicar.

  Sencillez. El instrumento no tuviera un grado de complejidad tal que impidiera su fácil comprensión.

  Estructuras de componentes. Que el instrumento contemplara las cinco dimensiones del indicador sintético.

  Cuantificable. Que las respuestas a cada ítem se pudieran codificar en una escala cuantitativa o binaria.

  Se empleó la revisión bibliográfica y análisis documental; lo cual permitió profundizar en el objeto de estudio. Se utilizaron bases de datos electrónicas como los INDICES (CSIC), MEDLINE, SCOPUS y las bases de datos documentales nacionales de revistas científicas de Ciencias de la Salud y de tesis doctorales cubanas de Ciencias de la Salud y áreas afines.

  El diseño y posterior ejecución del proyecto de investigación fue aprobado por el viceministerio a cargo de las relaciones internacionales, estadística, informática e información del MINSAP. También participaron en su aprobación los integrantes

  del Comité de Ética de la Investigación de la Escuela Nacional de Salud Pública. Se tuvo en cuenta lo establecido en la Guía Ética Internacional para la Investigación Biomédica en Seres Humanos (Helsinki versión 2013)(19) y el Código de Ética para Profesionales de la Información de la Salud de la Asociación Internacional de Informática Médica (IMIA),(20) relacionada con el tratamiento y uso de la información. Antes de aplicar el formulario se solicitó el consentimiento Informado en forma verbal, tras la comunicación que se garantizaba que la información obtenida no tendría repercusión personal alguna y sería utilizada exclusivamente con fines científicos, lo que aseguraba el anonimato, la privacidad y confidencialidad de la información.

  Para el procesamiento de la información cuantitativa se elaboró una base de datos que permitió contar con las cifras absolutas y resumir en porcientos las correspondientes a las variables cualitativas y en medias para las cuantitativas.

  Los resultados se presentaron en tablas, gráficos y de forma textual para facilitar su análisis e interpretación.

Resultados Fiabilidad y consistencia interna

Los valores de la fiabilidad de los componentes del índice de desarrollo de las TIC fueron entre 0,70 y 0,90, por lo que se consideró elevada, al igual que la consistencia interna que fue de 0,964.(21,22)

La validación de la equivalencia a partir del coeficiente de correlación intraclase. arrojó que para cada componente y para el índice de desarrollo que es la medida global del sistema de indicadores propuesto fueron valores elevados por encima de 0,98, solo en el caso de los componentes de estructura y utilización de las aplicaciones informáticas disminuyó a 0,944, aunque también fue elevado (tabla 1).

La comprobación de la fiabilidad a través del tiempo aportó valores elevados por encima de 0,90 (tabla 2).

Sensibilidad al cambio

En la tabla 3 se presentan los resultados de las medidas de resumen para datos cuantitativos; media, desviación estándar y error estándar de la media. Se presentaron diferencias entre la primera y segunda observación para todos los componentes y el índice de desarrollo de las TIC en salud, con excepción del de seguridad.

Al realizar la comparación de las medias, utilizando el estadígrafo t de Student (tabla 4), se obtuvo diferencias estadísticamente significativas para todos los componentes y el índice de desarrollo de las TIC en salud, con un 95 % de confiabilidad, con excepción, nuevamente, del componente de seguridad, que no pudo ser computado al ser el error estándar de la diferencia igual a cero, al obtenerse idénticos resultados en los dos momentos de la evaluación.

Las respuestas de los jefes de informática de las provincias y el municipio especial Isla de la Juventud respecto la pertinencia de cada ítem demostró la necesidad de hacer una reducción de 29 ítems, porque solo 40 alcanzaron valores promedios de pertinencia por encima de 4 puntos (tabla 5).

De la segunda medición de la pertinencia de los ítems que alcanzaron valores de 4 o más todos quedaron por encima de 4 puntos, por lo que fueron los aspectos que definitivamente estarían contemplados en el sistema de indicadores para evaluar la estrategia (tabla 6).

Validez de constructo

Del test de KMO donde se obtuvo un resultado de 0,80 considerado satisfactorio y el test de esfericidad de Barlet resultó estadísticamente significativo con un 95 % de confiabilidad, de acuerdo a este análisis todos los ítems alcanzaron una carga factorial adecuada, por lo que no fue necesario prescindir de ninguno de ellos (tabla 7).

Discusión

Al evaluar un instrumento de medición, sea una escala, un test, un indicador sintético u otro, el principal objetivo es que cumpla con los atributos necesarios para ser validado, confiabilidad, sensibilidad y validez, que nos permitan generar un grado de confianza con el cual podamos asegurar que lo que se pretende medir corresponde a la realidad y que las inferencias son confiables.

En la literatura se recoge un amplio número de artículos referidos a la validación de instrumentos de reconocida utilidad y pertinencia en diferentes áreas del conocimiento, aunque existe una falta de consenso en aspectos fundamentales como la terminología, definiciones, opciones estadísticas, criterios psicométricos mínimos a evaluar y en general los procesos de construcción, adaptación y validación de instrumentos.(16,17,18,23) En este estudio se empleó los criterios y técnicas utilizados con mayor regularidad.

Los hallazgos en esta investigación sugieren que el indicador sintético validado cumple con los criterios preestablecidos. Al comparar los resultados de la investigación con los obtenidos de la validación del índice de desarrollo de las TIC 2020, propuesto por la UIT,(10) en este caso para evaluar la consistencia, en un

análisis preliminar de coherencia estadística basado en el análisis de componentes principales (ACP), se confirmó la coherencia del marco propuesto.

La correlación cruzada entre los indicadores y los subíndices, así como entre los subíndices y el IDT general, confirma aún más la coherencia interna del marco de indicadores. Cada uno de los indicadores está bien asignado al subíndice con el que muestra la mayor correlación, mientras que también están positivamente asociados a otros subíndices. Esto indica que no hay compensaciones entre los diferentes aspectos del desarrollo de las TIC.

Los resultados entre 0,70 y 0,90 de la fiabilidad de los componentes del índice de desarrollo de las TIC se considera elevada al igual que alta la consistencia interna con valor de 0,964,(21,22) lo que también apoya la validez del instrumento.

En cuanto a la sensibilidad, de la comparación de las medias con t de Student, se encontraron diferencias estadísticamente significativas para todos los componentes y el índice de desarrollo de las TIC en salud de un 95 % en los dos momentos de la evaluación. Esto demuestra que el instrumento diseñado mide la sensibilidad al cambio, aspecto poco evaluado en los instrumentos que miden dimensiones como el bienestar, la satisfacción, percepciones y actitudes; pero ampliamente utilizado para las escalas diagnósticas, ensayos clínicos y estudios prospectivos,(23) por lo que se consideró útil para esta evaluación.

En general, los análisis descritos anteriormente indican que los marcos estadísticos y conceptuales están estrechamente relacionados y responden a las prácticas internacionales. Además, el análisis de sensibilidad ofrece a los usuarios información sobre la importancia de los indicadores, lo cual ayuda a interpretar mejor los resultados.

Conclusiones

A partir de los resultados en el proceso de validación se puede concluir que el instrumento propuesto es fiable, consistente, sensible al cambio y válido por lo que se propone su utilización para evaluar el impacto de las TIC en salud.

Referencias bibliográficas

1. Sánchez R, Gómez C. Conceptos básicos sobre la validación de escalas. Rev. Col. Psiquiatría. 1998;27:121-30.

2. Lamprea J, Gómez C. Validez en la evaluación de escalas. Rev. Colomb. Psiquiat. 2007;36:340-8.

3. Sánchez R, Echeverry J. [Validating scales used for measuring factors in medicine]. Rev Salud Pública (Bogota). 2004;6:302-18.

4. Montero E. Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actualidades en Psicología. 2013 [acceso 10/11/2022];27:113-28. Disponible en: http://pepsic.bvsalud.org/pdf/apsi/v27n114/a08.pdf

5. Escobar Pérez J, Cuervo Martínez A. Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances de Medición. 2008 [acceso 06/11/2022];6:27-36. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=2981181

6. García M, Suárez M. El método Delphi para la consulta de expertos en la investigación científica. Rev Cub Salud Pública. 2013 [acceso 10/11/2022];39:253- 67. Disponible en: https://revsaludpublica.sld.cu/index.php/spu/article/view/124/658

7. Unión Internacional de Telecomunicaciones. WSIS Outcome Documents. Ginebra: ITU; 2005 [acceso 10/11/2022]. Disponible en: http://www.itu.int/wsis /outcome/booklet.pdf

8. Unión Internacional de Telecomunicaciones. Manual de Indicadores de Telecomunicaciones. Ginebra: ITU; 2007 [acceso 10/11/2022] Disponible en: http://www.itu.int/ITU-D/ict/handbook.html

9. Unión Internacional de Telecomunicaciones. Indicadores clave sobre TIC. Ginebra: ITU; 2010 [acceso 12/11/2022] Disponible en: http://new.unctad.org/upload/Core %20ICT%20 IndicatorsSpanish2010.PDF .

10. Unión Internacional de Telecomunicaciones. Índice de Desarrollo de las TIC. Propuesta. Ginebra: ITU; 2020 [acceso 06/11/2022] Disponible en: https://www.itu.int/en/ITU/Statistics/Documents/events/ egh2020/IDI2020BackgroundDocument_S.pdf

11. Delgado-Ramos A, Vidal-Ledo M, Castañeda-Abascal I. Construcción de indicador sintético para medir impacto de las tecnologías de la información y las comunicaciones en salud. Revista Cubana de Salud Pública. 2023 [acceso 13/05/2023];49(1). Disponible en: https://revsaludpublica.sld.cu/index.php/spu/article/view/3945

12. Medina Díaz MdR, Verdejo Carrión AL. Validez y Confiabilidad en la evaluación del aprendizaje mediante metodologías activas. Alteridad. 2020;15(2):270-83. DOI: https://doi.org/10.17163/alt.v15n2.2020.10

13. Soler S. Coeficientes de confiabilidad de instrumentos escritos en el marco de la teoría clásica de los tests. Educ Med Super. 2008;22:1-14. [Sitio en Internet]. [acceso 10/11/2022] Disponible en: http://scielo.sld.cu/pdf/ems/v22n2/ems06208.pdf

14. Cronbach L. Coefficient alpha and internal structure of test. Psychometrika.1951;16:297-333

15. Aiken L. Test Psicológicos y evaluación. Confiabilidad y validez. Undécima edición. México: Pearson Educación. 2003 p. 85-107.

16. Medina JP, Ramírez MHD, Isaías M. Validez y confiablidad de un test en línea sobre los fenómenos de reflexión y refracción del sonido. Apertura. 2019;11(2):104- 21. DOI: http://dx.doi.org/10.32870/Ap.v11n2.1622

17. Medina JP, Ramírez MHD. Construcción de un test sobre fenómenos sonoros orientado a estudiantes de ciencias de la salud. Innovación Educativa. 2019 [acceso 21/11/2022];10(79):79-98. Disponible en: https://www.ipn.mx/assets/files/innovacion/docs/Innovacion-Educativa- 79/Construccion-de-un-test-sobre-fenomenos-sonoros-orientado.pdf

18. Hernández R, Mendoza C. Metodología de la investigación: las rutas cuantitativa, cualitativa y mixta. Ciudad de México: McGraw-Hill; 2018.

19. Asociación Médica Mundial. Declaración de Helsinki de la AMM – Principios éticos para las investigaciones médicas en seres humanos. Francia: AMM; 2017 [acceso 10/11/2022]. Disponible en: https://www.wma.net/es/policies- post/declaracion-de-helsinki-de-la-amm-principios-eticos-para-las-investigaciones- medicas-en-seres-humanos/

20. Asociación Internacional de Informática Médica. El Código de Ética de IMIA para profesionales de la información de la salud. [2016] [acceso 10/11/2022]. Disponible: http://www.conganat.org/SEIS/colaboraciones/IMIA_Spanish.pdf

21. Pick S, López A. Como investigar en ciencias sociales. México: Trillas. Selección personal: los test psicológicos; 2000 [acceso 06/11/2022].. Disponible en: http://www.cepvi.com/trabajo/test2.shtml

22. da Silva FC, Gonçalves E, Arancibia BA, Bento G, Castro TL, Hernandez SS, et al. Estimadores de consistencia interna en las investigaciones en salud: el uso del coeficiente alfa. Rev Peru Med Exp Salud Publica. 2015 [acceso 06/11/2022];32(1):129-38. Disponible en: http://www.scielo.org.pe/pdf/rins/v32n1/a19v32n1.pdf

23. Luján Tangarife JA, Cardona Arias JA. Construcción y Validación de escalas de medición en salud: revisión de propiedades psicométricas. Archivos de Medicina. 2015 [acceso 10/11/2022];11(3):1. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5178935