Validación de indicador sintético para medir impacto de las tecnologías de la información y las comunicaciones en salud

Validation of a synthetic indicator to measure the impact of information and communication technologies in healthcare

Ramos, Ariel Delgado; Castañeda Abascal2, Ileana Elena; Vidal, María Josefina

Ariel Delgado Ramos

ariel.delgado@infomed.sld.cu

1Comité Central del Partido Comunista de Cuba. La Habana, Cuba Cuba

Ileana Elena Castañeda Abascal2

2Escuela Nacional de Salud Pública de Cuba. La Habana, Cuba. Cuba

María Josefina Vidal

Habana, Cuba.

2Escuela Nacional de Salud Pública de Cuba. La Habana, Cuba Cuba

Revista de Información científica para la Dirección en Salud. INFODIR

Editorial Ciencias Médicas, Cuba

ISSN-e: 1996-3521

Periodicidad: Cuatrimestral

núm. 40, 2023

infodir@infomed.sld.cu

Recepción: 29 Marzo 2023

Aprobación: 24 Abril 2023

URL: http://portal.amelica.org/ameli/journal/445/44540714454071008/

Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica

ePub generado a partir de XML JATS4R

Resumen: Introducción: La introducción y crecimiento vertiginoso del uso de las tecnologías de la información y las comunicaciones en salud obliga a contar con instrumentos que permitan su evaluación, comparación, validación y toma de decisiones correcta a partir de su interpretación.

Objetivo: Validar un indicador sintético diseñado para medir el impacto de las tecnologías de la información y las comunicaciones en el sistema nacional de salud.

Métodos: Se realizó un estudio de desarrollo tecnológico que evaluó la confiabilidad, validez, sensibilidad al cambio y utilidad del indicador diseñado. Se utilizaron técnicas cualitativas y cuantitativas (grupos de discusión, t de Student, coeficiente correlación intraclases, coeficiente alfa de Cronbach, componentes principales, test de esfericidad de Barlet y test Keiser-Meyer-Okin).

Resultados: La fiabilidad y consistencia interna se consideró elevada con valores por encima de 0,7. Los resultados fueron satisfactorios para la validez de apariencia, de contenido y constructo; así como la sensibilidad al cambio.

Conclusiones: El indicador evaluado es fiable, consistente, sensible al cambio y válido para medir el impacto de las tecnologías de la información y las comunicaciones en salud.

Palabras clave: tecnología de la información y las comunicaciones, impacto, salud.

Abstract: Introduction: The introduction and vertiginous growth of the use of information and communication technologies in health makes it necessary to have instruments that allow their evaluation, comparison, validation and correct decision making based on their interpretation.

Objective: To validate a synthetic indicator designed to measure the impact of information and communication technologies in the national health system.

Methods: A technological development study was carried out to evaluate the reliability, validity, sensitivity to change and usefulness of the designed indicator. Qualitative and quantitative techniques were used (discussion groups, Student's t- test, intraclass correlation coefficient, Cronbach's alpha coefficient, principal components, Barlet's sphericity test and Keiser-Meyer-Okin test).

Results: Reliability and internal consistency were considered high with values above

0.7. Results were satisfactory for face, content and construct validity; as well as for sensitivity to change.

Conclusions: The evaluated indicator is reliable, consistent, sensitive to change and valid for measuring the impact of information and communication technologies in health.

Keywords: information and communications technology, impact, health.

Introducción

Cada vez es más importante disponer de instrumentos que recojan la información necesaria para el cálculo de indicadores que permitan evaluar atributos y variables que integran constructos, dimensiones o conceptos más complejos como medio para definir acciones. Su importancia radica en que permiten medir de forma válida y confiable el objeto de estudio.(1,2,3,4) Es clave comprender que un proceso de validación deficiente reduce las posibilidades de hacer comparaciones, impide el intercambio de información y puede conllevar a toma de decisiones erróneas o inadecuadas.

Para considerar válida una escala, esta debe cumplir una serie de características, para lo cual, según Escobar y Cuervo,(5) es primordial contar en el proceso de construcción con el juicio de expertos(5) y con la definición de cada uno de los aspectos metodológicos conceptuales, como sugieren en su revisión sistemática sobre el tema García y Suarez,(6) adecuándolos en cada caso al objeto de estudio de que se trate.

Los ítems, que componen el instrumento de recogida de información necesaria para el cálculo del índice de desarrollo de las tecnologías de la información y las comunicaciones en salud, se corresponden con los indicadores intermedios que componen ese indicador sintético, que consiste en instrumentos de medición analítica que toman en cuenta un agregado de todas las dimensiones, objetivos, indicadores individuales y variables utilizadas. Esto conlleva a que la validación de ese instrumento constituye en sí, la validación del sistema de indicadores y del indicador sintético, y de esta forma poder alcanzar el índice de desarrollo, como una importante herramienta de análisis, promovida por la Unión Internacional de Telecomunicaciones (UIT) para evaluar el crecimiento de la sociedad de la información a escala mundial, regional y nacional.(7,8,9,10)

Este trabajo se propuso como objetivo validar un indicador sintético diseñado para medir el impacto de las tecnologías de la información y las comunicaciones en el sistema nacional de salud.

Métodos

e realizó un estudio de desarrollo tecnológico con el objetivo de validar el indicado

Se realizó un estudio de desarrollo tecnológico con el objetivo de validar el indicador sintético propuesto por Delgado Ramos y otros(11) para medir el impacto de las TIC en salud.

Para ello se diseñó un instrumento que tuvo en cuenta los siguientes criterios.

− Confiabilidad:

Fiabilidad. Es el grado en que el instrumento es capaz de medir sin error.

Consistencia interna. Los ítems que miden un mismo dominio deben estar más correlacionados entre sí que los ítems que miden diferentes dominios. Si el puntaje de correlación entre ítems es muy elevado, está reflejando que miden un mismo fenómeno o que con uno de ellos basta para medir el fenómeno, pues los demás están dando información redundante.

Para ambos casos se empleó el coeficiente alfa de Cronbach (α); calculado, además, para cada uno de los componentes (ecuación).

Las medidas de homogeneidad deben estar entre 0,7 y 0,9.

Confiabilidad test-retest. Evalúa la estabilidad de la capacidad de medición del indicador a lo largo del tiempo. Se empleó el coeficiente de correlación intraclases (ρI). En este caso se aplicó dos veces el instrumento en las mismas unidades con un intervalo de seis meses. Los valores de (ρI) entre 0,7 y 0,8 se consideraron aceptables y por encima de 0,8 buenos.

Confiabilidad interevaluador. Mide, qué tan similares son los valores proporcionados por diferentes evaluadores al mismo fenómeno. También se empleó el coeficiente de correlación intraclases (ρI) que, idealmente debe estar alrededor de 0,8. No se aceptan valores menores de 0,6.(4)

La confiabilidad test-retest la evaluaron los jefes de informática de las provincias y el municipio especial Isla de la Juventud y la confiabilidad interevaluador los jefes de informática de unidades de subordinación nacional.

En general se consideraron tres tipos de coeficientes de confiabilidad que se obtuvieron mediante procedimientos estadísticos:(12)

− Consistencia interna. Se enfoca en la cohesión de las respuestas a los ítems de un instrumento.

− Estabilidad (test-retest). Que se refiere a la consistencia de las puntuaciones a lo largo del tiempo o en diferentes ocasiones.

− Equivalencia. El cual concierne a determinar si dos o más formas paralelas de un instrumento producen puntuaciones o resultados similares.

La fiabilidad mide la proporción de variación en las mediciones que se debe a la diversidad de valores que toma una variable y que no es producto del error sistemático (sesgo) o aleatorio (azar). En otras palabras, la fiabilidad es la proporción de la varianza total atribuible a diferencias verdaderas que existen entre las diferentes mediciones. Por otro lado la consistencia interna expresa el grado de correlación y coherencia que existe entre los ítems de un dominio o componente del instrumento; es decir, evalúa si existe homogeneidad entre los ítems de cada componente, para ambas propiedades en esta investigación se usó el coeficiente alfa de Cronbach,(13,14,15) que mide la consistencia de la respuesta del sujeto con respecto a los ítems del instrumento.

− Validez:

Validez de apariencia. Determina si el indicador realmente mide lo que tiene que medir, para lo que se utilizó en un primer momento al grupo de expertos de dirección. Se sugirió en algunos ítems la modificación de la redacción y en otros se discutió la justificación de su inclusión, lo que

permitió su perfeccionamiento en cuanto a que el indicador mide la cualidad que se supone se va a evaluar.

Validez de contenido. Se analizó la pertinencia de cada ítem de manera cuantitativa, con valoración individual de 0 a 5 por los grupos de expertos conformado por los jefes de informática de las provincias y el municipio especial Isla de la Juventud y el integrado por siete jefes de informática de unidades de subordinación nacional. Se eliminaron los ítems con puntuación inferior a 4,0.

Validez de constructo. Esta propiedad evalúa el grado en que el instrumento refleja adecuadamente la teoría subyacente del fenómeno que se quiere medir y, en consecuencia, la medida coincide con la de otros instrumentos que evalúan la misma condición; aspecto complejo en este caso al ser la propuesta de los autores la primera en medir este constructo. Se utilizó el análisis factorial. Se determinó el ajuste del modelo factorial y la adecuación de la muestra y los ítems evaluados para lo cual se utilizó el test de esfericidad de Barlet(16) y el de Keiser- Meyer-Okin (KMO).(17)

En sentido general, la validez aplicada a una prueba, es un juicio o estimación acerca de que tan bien una prueba mide lo que pretende medir en un determinado contexto, concepto refrendado por Cohen y Swerdlik, en el año 2006.(18)

La validez de contenido busca evaluar si los diferentes ítems incluidos en el instrumento representan adecuadamente los dominios del constructo, que se pretende medir. En este proceso se determina la estructura de la escala, lo que garantiza que esta, por medio de sus ítems, abarque todos los dominios de la informatización de la salud, de tal modo que las inferencias surgidas a partir del puntaje de la escala sean válidas dentro de un amplio rango de circunstancias.

La garantía de la validez del instrumento de recogida de la información necesaria para el cálculo del índice de desarrollo de las TIC se logró a partir

de la evaluación del contenido de un instrumento inicial conformado por 69 ítems a partir de las ideas emanadas por los directivos.

− Sensibilidad al cambio. Implica que el indicador pueda responder adecuadamente a las condiciones cambiantes del área de conocimiento que se está midiendo. Se aplicó el indicador dos veces en las mismas unidades en un intervalo de seis meses; conociendo de antemano que en ese período se modificó el escenario inicial de medición en algunos de los componentes, de manera tal que era de esperar que el instrumento fuera capaz de medirlo y se analizó estadísticamente a través de la comparación de las medias para muestras pareadas utilizando el estadígrafo t de Student. Participaron en esta evaluación el grupo conformado por los jefes de informática de las unidades de subordinación nacional.

− Utilidad. Para evaluar que el indicador fuera útil se tuvo en cuenta los aspectos evaluados con el grupo de expertos conformado por los jefes de informática de las provincias mediante la técnica de grupo de discusión:

Factibilidad. Que el instrumento para la recogida de información necesaria para el cálculo del indicador sintético fuera posible de aplicar.

Sencillez. El instrumento no tuviera un grado de complejidad tal que impidiera su fácil comprensión.

Estructuras de componentes. Que el instrumento contemplara las cinco dimensiones del indicador sintético.

Cuantificable. Que las respuestas a cada ítem se pudieran codificar en una escala cuantitativa o binaria.

Se empleó la revisión bibliográfica y análisis documental; lo cual permitió profundizar en el objeto de estudio. Se utilizaron bases de datos electrónicas como los INDICES (CSIC), MEDLINE, SCOPUS y las bases de datos documentales nacionales de revistas científicas de Ciencias de la Salud y de tesis doctorales cubanas de Ciencias de la Salud y áreas afines.

El diseño y posterior ejecución del proyecto de investigación fue aprobado por el viceministerio a cargo de las relaciones internacionales, estadística, informática e información del MINSAP. También participaron en su aprobación los integrantes

del Comité de Ética de la Investigación de la Escuela Nacional de Salud Pública. Se tuvo en cuenta lo establecido en la Guía Ética Internacional para la Investigación Biomédica en Seres Humanos (Helsinki versión 2013)(19) y el Código de Ética para Profesionales de la Información de la Salud de la Asociación Internacional de Informática Médica (IMIA),(20) relacionada con el tratamiento y uso de la información. Antes de aplicar el formulario se solicitó el consentimiento Informado en forma verbal, tras la comunicación que se garantizaba que la información obtenida no tendría repercusión personal alguna y sería utilizada exclusivamente con fines científicos, lo que aseguraba el anonimato, la privacidad y confidencialidad de la información.

Para el procesamiento de la información cuantitativa se elaboró una base de datos que permitió contar con las cifras absolutas y resumir en porcientos las correspondientes a las variables cualitativas y en medias para las cuantitativas.

Los resultados se presentaron en tablas, gráficos y de forma textual para facilitar su análisis e interpretación.

Resultados

Fiabilidad y consistencia interna

Los valores de la fiabilidad de los componentes del índice de desarrollo de las TIC fueron entre 0,70 y 0,90, por lo que se consideró elevada, al igual que la consistencia interna que fue de 0,964.(21,22)

La validación de la equivalencia a partir del coeficiente de correlación intraclase. arrojó que para cada componente y para el índice de desarrollo que es la medida global del sistema de indicadores propuesto fueron valores elevados por encima de 0,98, solo en el caso de los componentes de estructura y utilización de las aplicaciones informáticas disminuyó a 0,944, aunque también fue elevado (tabla 1).

Tabla 1

Confiabilidad test-retest según componentes del índice de desarrollo de las TIC en salud

Componentes | Correlación intraclasesa | Intervalo de confianza 95 % | Sig*
Inferior | Superior
Estructura | Medidas individualesb | 0,994b | 0,993 | 0,995 | 0,000
Medidas promedioc | 0,997c | 0,996 | 0,998 | 0,000
Comunicación | Medidas individualesb | 0,980b | 0,899 | 0,992 | 0,000
Medidas promedioc | 0,990c | 0,947 | 0,996 | 0,000
Conocimiento de informática | Medidas individualesb | 10,000b | - | 10,000 | -
Medidas promedioc | 10,000c | - | 10,000 | -
Utilización de las aplicaciones informáticas | Medidas individualesb | 0,901b | 0,714 | 0,959 | 0,000
Medidas promedioc | 0,907c | 0,810 | 0,979 | 0,000
Seguridad | Medidas individualesb | 0,995b | 0,985 | 0,998 | 0,000
Medidas promedioc | 0,998c | 0,992 | 0,999 | 0,000
Índice de desarrollo de las TIC en salud | Medidas individualesb | 0,908b | 0,898 | 0,912 | 0,000
Medidas promedioc | 0,918c | 0,906 | 0,929 | 0,000

Modelo de efectos de mezcla bidireccional donde los efectos de las personas son aleatorios y los efectos de las medidas son fijos: aCoeficientes de correlación intraclase utilizando una definición de acuerdo absoluto; bEl estimador es el mismo, si el efecto de interacción no está presente; cEl estimador es el mismo, si el efecto de interacción no está presente. *Nivel de significación al 95 %.

La comprobación de la fiabilidad a través del tiempo aportó valores elevados por encima de 0,90 (tabla 2).

Tabla 2

Confiabilidad interevaluador según componentes del índice de desarrollo de las TIC en salud

Componentes | Correlación intraclasesa | Intervalo de confianza 95 % | Sig*
Inferior | Superior
Estructura | Medidas individualesb | 0,973b | 0,927 | 0,988 | 0,000
Medidas promedioc | 0,986c | 0,962 | 0,994 | 0,000
Comunicación | Medidas individualesb | 0,949b | 0,832 | 0,979 | 0,000
Medidas promedioc | 0,974c | 0,908 | 0,989 | 0,000
Conocimiento de informática | Medidas individualesb | 0,983b | 0,964 | 0,991 | 0,000
Medidas promedioc | 0,991c | 0,982 | 0,996 | 0,000
Utilización de las aplicaciones informáticas | Medidas individualesb | 0,899b | -0,016 | 0,978 | 0,000
Medidas promedioc | 0,947c | -0,032 | 0,989 | 0,000
Seguridad | Medidas individualesb | 0,995b | 0,992 | 0,998 | 0,000
Medidas promedioc | 0,998c | 0,996 | 0,999 | 0,000
Índice de desarrollo de las TIC en salud | Medidas individualesb | 0,928b | 0,373 | 0,979 | 0,000
Medidas promedioc | 0,963c | 0,543 | 0,989 | 0,000

Modelo de efectos de mezcla bidireccional en el cual los efectos de las personas son aleatorios y los efectos de las medidas son fijos: aCoeficientes de correlación intraclase utilizando una definición de acuerdo absoluto; bel estimador es el mismo, si el efecto de interacción no está presente; cesta estimación se calcula asumiendo que el efecto de interacción está ausente, porque no se puede estimar de otro modo. *Nivel de significación al 95%.

Sensibilidad al cambio

En la tabla 3 se presentan los resultados de las medidas de resumen para datos cuantitativos; media, desviación estándar y error estándar de la media. Se presentaron diferencias entre la primera y segunda observación para todos los componentes y el índice de desarrollo de las TIC en salud, con excepción del de seguridad.

Tabla 3

Resultados de la evaluación de la sensibilidad según componentes al evaluar sensibilidad del índice de desarrollo de las TIC en salud

Componente | Evaluación | N | Media | Desviación estándar | Error estándar media
Estructura | Primera | 41 | 0,3815 | 0,20312 | 0,03172
Segunda | 41 | 0,4676 | 0,18281 | 0,02855
Comunicación | Primera | 41 | 0,6759 | 0,18512 | 0,02891
Segunda | 41 | 0,6963 | 0,18498 | 0,02889
Conocimiento | Primera | 41 | 0,8763 | 0,04182 | 0,00653
Segunda | 41 | 0,8876 | 0,03961 | 0,00619
Aplicación | Primera | 41 | 0,5351 | 0,12256 | 0,01914
Segunda | 41 | 0,5498 | 0,11335 | 0,01770
Seguridad | Primera | 41 | 0,9920 | 0,05154 | 0,00805
Segunda | 41 | 0,9920 | 0,05154 | 0,00805
Índice desarrollo | Primera | 41 | 1,1856 | 0,15424 | 0,02409
Segunda | 41 | 1,2390 | 0,14378 | 0,02246

Al realizar la comparación de las medias, utilizando el estadígrafo t de Student (tabla 4), se obtuvo diferencias estadísticamente significativas para todos los componentes y el índice de desarrollo de las TIC en salud, con un 95 % de confiabilidad, con excepción, nuevamente, del componente de seguridad, que no pudo ser computado al ser el error estándar de la diferencia igual a cero, al obtenerse idénticos resultados en los dos momentos de la evaluación.

Tabla 4

Resultados de la diferencia de medias para muestras pareadas según componentes para evaluar la sensibilidad al cambio del instrumento

Muestras pareadas | Diferencia de medias | Desviación estándar | Error estándar media | Intervalo de confianza al 95 % de las diferencias | t | Significación
Inferior | Superior
Par 1 Componente estructura | -0,08610 | 0,04847 | 0,00757 | -0,10140 | -0,07080 | -11,374 | 0,000
Par 2 Componente comunicación | -0,02049 | 0,00218 | 0,00034 | -0,02118 | -0,01980 | -60,154 | 0,000
Par 3 Componente conocimiento | -0,01122 | 0,01847 | 0,00288 | -0,01705 | -0,00539 | -3,890 | 0,000
Par 4 Componente aplicación | -0,01463 | 0,02609 | 0,00407 | -0,02287 | -0,00640 | -3,592 | 0,001
Par 5 Índice desarrollo de la TIC | -0,05341 | 0,02486 | 0,00388 | -0,06126 | -0,04557 | -13,758 | 0,000

Nota: para el par del componente de seguridad 1 y 2 no se calculó el estadígrafo al ser el error estándar de la diferencia igual a cero, al obtenerse idénticos resultados en los dos momentos de la evaluación.

Las respuestas de los jefes de informática de las provincias y el municipio especial Isla de la Juventud respecto la pertinencia de cada ítem demostró la necesidad de hacer una reducción de 29 ítems, porque solo 40 alcanzaron valores promedios de pertinencia por encima de 4 puntos (tabla 5).

Tabla 5

Promedio de pertinencia de cada ítem según componentes del indicador de desarrollo de la primera medición

Componentes | No | Ítem | Promedio de pertinencia
Infraestructura | 1 | Servidor de dominio | 5,0
2 | Servidor de correo | 5,0
3 | Servidor de bases de datos | 5,0
4 | Otros tipos de servidores | 3,4
5 | Servidor de respaldo | 3,7
6 | Total de Computadoras | 5,0
7 | Cantidad de puestos de trabajo | 4,2
8 | Cantidad de puestos de trabajo con computadoras | 4,8
9 | Cantidad de impresoras | 3,6
10 | Cantidad de portátiles | 3,7
11 | Cantidad de tabletas | 3,5
12 | Cantidad de escáner | 2,8
13 | Cantidad de departamentos | 4,3
14 | Cantidad de computadoras con mueble | 4,1

Tabla 5

Promedio de pertinencia de cada ítem según componentes del indicador de desarrollo de la primera medición

| 15 | Cantidad de computadoras sin mueble | 4,1
Conectividad | 16 | Cantidad de computadoras conectadas a la red interna o Intranet | 5,0
17 | Cantidad de computadoras sin conectar a la red interna o intranet | 4,8
18 | Cantidad de computadoras conectadas a la red Infomed | 4,6
19 | Cantidad de computadoras sin conectar a la red Infomed | 4,8
20 | Cantidad de computadoras conectadas a Internet | 4,8
21 | Cantidad de computadoras sin conectar a Internet | 4,6
22 | Cantidad de impresoras conectadas a la red interna | 3,4
23 | Cantidad de portátiles conectados a la red interna | 3,4
24 | Cantidad de portátiles conectados a la red interna | 3,3
25 | Cantidad de portátiles conectados a la red Infomed | 3,1
26 | Cantidad de portátil conectadas a Internet | 3,2
27 | Cantidad de tabletas conectadas a la red interna | 3,4
28 | Cantidad de tabletas conectadas a la red Infomed | 3,2
29 | Cantidad de tabletas conectadas a Internet | 3,2
Componente de conocimiento de informática | 30 | Cantidad de personal informático | 5,0
31 | Cantidad de personal informático con conocimiento de administración de redes | 4,8
32 | Cantidad de personal informático con conocimiento de administración de bases de datos | 4,8
33 | Cantidad de personal informático con conocimiento de arquitectura de software | 3,2
34 | Cantidad de personal informático con conocimiento de diseño y calidad de software | 2,6
35 | Cantidad de personal informático con conocimiento de navegación web y redes sociales | 4,8
36 | Cantidad de personal técnico y especializado | 4,6
37 | Cantidad de personal técnico y especializado con conocimiento de Office o similares | 4,6
38 | Cantidad de personal técnico y especializado con conocimiento de alguna aplicación médica | 4,7
39 | Cantidad de personal técnico y especializado con conocimiento de web y redes sociales | 4,5
40 | Disponible curso de Office o similares | 4,4
41 | Disponible curso de aplicaciones médicas | 4,2
42 | Disponible curso de administración de bases de datos. | 4,3
43 | Disponibles cursos sobre la Web y redes sociales | 4,4
44 | Disponibilidad de cursos de diseño y calidad de software | 3,1
45 | Disponibilidad de cursos de arquitectura de software | 3,2
46 | Disponibilidad de cursos de Web Semántica | 2,4
47 | Disponibilidad de cursos de análisis y diseño de aplicaciones para la salud. | 2,8
Componente de instalación y uso de las aplicaciones informáticas | 47 | Existencia y uso de aplicaciones informáticas para la gestión de recepción e información | 4,8
48 | Existencia y uso de aplicaciones informáticas para la gestión de laboratorios clínicos | 4,6
49 | Existencia y uso de aplicaciones informáticas para la gestión de los medios diagnósticos | 4,8
50 | Existencia y uso de aplicaciones informáticas para los servicios de telemedicina | 3,8

Tabla 5

Promedio de pertinencia de cada ítem según componentes del indicador de desarrollo de la primera medición

| 51 | Existencia y uso de aplicaciones informáticas para la gestión de los medicamentos. | 3,7
52 | Existencia y uso de aplicaciones informáticas para la gestión de la consulta externa | 4,4
53 | Existencia y uso de aplicaciones informáticas para los servicios de rehabilitación | 4,1
54 | Existencia y uso de aplicaciones informáticas para estadística y archivos | 3,8
55 | Existencia y uso de aplicaciones informáticas para la gestión de los insumos y gastables de uso médicos. | 3,1
56 | Existencia y uso de aplicaciones informáticas para la gestión de almacenes. | 2,4
57 | Existencia y uso de aplicaciones informáticas para los servicios de estomatología | 4,1
58 | Existencia y uso de aplicaciones informáticas para los servicios de los servicios de urgencia | 4,4
59 | Existencia y uso de aplicaciones informáticas para la gestión de los recursos humanos | 4,8
60 | Existencia y uso de aplicaciones informáticas para la gestión contable | 4,9
61 | Existencia y uso de otras aplicaciones informáticas | 4,1
Seguridad | 62 | Existencia del Plan de Seguridad Informática | 5,0
63 | Existencia de registro de incidentes de seguridad | 3,7
64 | Existencia de sistema de salvas de seguridad | 3,2
65 | Control y actualización de los riesgos y planes de contingencia | 4,9
66 | Protegido con sistemas antivirus | 4,8
67 | Existencia de sistema de actualización de antivirus | 2,8
68 | Existencia de medios físicos de protección | 3,1
69 | Existencia y actualización de bitácora de seguridad | 3,8

De la segunda medición de la pertinencia de los ítems que alcanzaron valores de 4 o más todos quedaron por encima de 4 puntos, por lo que fueron los aspectos que definitivamente estarían contemplados en el sistema de indicadores para evaluar la estrategia (tabla 6).

Tabla 6

Promedio de pertinencia de cada ítem según componentes del indicador de desarrollo de la segunda medición

Componente | No | Ítem | Valor
Infraestructura | 1 | Servidor de dominio | 4,8
2 | Servidor de correo | 4,9
3 | Servidor de bases de datos | 4,8
4 | Total de Computadoras | 4,9
5 | Cantidad de puestos de trabajo | 4,2
6 | Cantidad de puestos de trabajo con computadoras | 4,8
7 | Cantidad de Departamentos | 4,3
8 | Cantidad de computadoras con mueble | 4,1

Tabla 6

Promedio de pertinencia de cada ítem según componentes del indicador de desarrollo de la segunda medición

| 9 | Cantidad de computadoras sin mueble | 4,1
Conectividad | 10 | Cantidad de computadoras conectadas a la red interna o Intranet | 4,8
11 | Cantidad de computadoras sin conectar a la red interna o Intranet | 4,8
12 | Cantidad de computadoras conectadas a Infomed | 4,6
13 | Cantidad de computadoras sin conectar a Infomed | 4,8
14 | Cantidad de computadoras conectadas a Internet | 4,8
15 | Cantidad de computadoras sin conectar a Internet | 4,6
Componente de conocimiento de informática | 16 | Cantidad de personal informático | 4,9
17 | Cantidad de personal informático con conocimiento de administración de redes | 4,8
18 | Cantidad de personal informático con conocimiento de administración de bases de datos | 4,8
19 | Cantidad de personal informático con conocimiento de navegación web y redes sociales | 4,8
20 | Cantidad de personal técnico y especializado | 4,6
21 | Cantidad de personal técnico y especializado con conocimiento de Office o similares | 4,6
22 | Cantidad de personal técnico y especializado con conocimiento de alguna aplicación médica | 4,7
23 | Cantidad de personal técnico y especializado con conocimiento de web y redes sociales | 4,5
24 | Disponible curso de Office o similares | 4,4
25 | Disponible curso de aplicaciones médicas | 4,2
26 | Disponible curso de administración de bases de datos | 4,3
27 | Disponibles cursos sobre la Web y redes sociales | 4,4
Componente de instalación y uso de las aplicaciones informáticas | 28 | Existencia y uso de aplicaciones informáticas para la gestión de recepción e información | 4,8
29 | Existencia y uso de aplicaciones informáticas para la gestión de laboratorios clínicos | 4,6
30 | Existencia y uso de aplicaciones informáticas para la gestión de los medios diagnósticos | 4,8
31 | Existencia y uso de aplicaciones informáticas para la gestión de la consulta externa | 4,4
32 | Existencia y uso de aplicaciones informáticas para los servicios de rehabilitación | 4,1
33 | Existencia y uso de aplicaciones informáticas para los servicios de estomatología | 4,1
34 | Existencia y uso de aplicaciones informáticas para los servicios de los servicios de urgencia | 4,4
35 | Existencia y uso de aplicaciones informáticas para la gestión de los recursos humanos | 4,8
36 | Existencia y uso de aplicaciones informáticas para la gestión contable | 4,9
37 | Existencia y uso de otras aplicaciones informáticas | 4,1
Seguridad | 38 | Existencia del Plan de Seguridad Informática | 4,9
39 | Control y actualización de los riesgos y planes de contingencia | 4,9
40 | Protegido con sistemas antivirus | 4,8

Validez de constructo

Del test de KMO donde se obtuvo un resultado de 0,80 considerado satisfactorio y el test de esfericidad de Barlet resultó estadísticamente significativo con un 95 % de confiabilidad, de acuerdo a este análisis todos los ítems alcanzaron una carga factorial adecuada, por lo que no fue necesario prescindir de ninguno de ellos (tabla 7).

Tabla 7

Test de Esfericidad de Barlet y el de Keiser-Meyer-Okin

Test | Resultado
Kaiser-Meyer-Olkin. Measure of Sampling Adequacy | 0,806
Bartlett's Test of Sphericity | Approx. Chi-Square | 299,175
Df | 39
Sig. | 0,000

Discusión

Al evaluar un instrumento de medición, sea una escala, un test, un indicador sintético u otro, el principal objetivo es que cumpla con los atributos necesarios para ser validado, confiabilidad, sensibilidad y validez, que nos permitan generar un grado de confianza con el cual podamos asegurar que lo que se pretende medir corresponde a la realidad y que las inferencias son confiables.

En la literatura se recoge un amplio número de artículos referidos a la validación de instrumentos de reconocida utilidad y pertinencia en diferentes áreas del conocimiento, aunque existe una falta de consenso en aspectos fundamentales como la terminología, definiciones, opciones estadísticas, criterios psicométricos mínimos a evaluar y en general los procesos de construcción, adaptación y validación de instrumentos.(16,17,18,23) En este estudio se empleó los criterios y técnicas utilizados con mayor regularidad.

Los hallazgos en esta investigación sugieren que el indicador sintético validado cumple con los criterios preestablecidos. Al comparar los resultados de la investigación con los obtenidos de la validación del índice de desarrollo de las TIC 2020, propuesto por la UIT,(10) en este caso para evaluar la consistencia, en un

análisis preliminar de coherencia estadística basado en el análisis de componentes principales (ACP), se confirmó la coherencia del marco propuesto.

La correlación cruzada entre los indicadores y los subíndices, así como entre los subíndices y el IDT general, confirma aún más la coherencia interna del marco de indicadores. Cada uno de los indicadores está bien asignado al subíndice con el que muestra la mayor correlación, mientras que también están positivamente asociados a otros subíndices. Esto indica que no hay compensaciones entre los diferentes aspectos del desarrollo de las TIC.

Los resultados entre 0,70 y 0,90 de la fiabilidad de los componentes del índice de desarrollo de las TIC se considera elevada al igual que alta la consistencia interna con valor de 0,964,(21,22) lo que también apoya la validez del instrumento.

En cuanto a la sensibilidad, de la comparación de las medias con t de Student, se encontraron diferencias estadísticamente significativas para todos los componentes y el índice de desarrollo de las TIC en salud de un 95 % en los dos momentos de la evaluación. Esto demuestra que el instrumento diseñado mide la sensibilidad al cambio, aspecto poco evaluado en los instrumentos que miden dimensiones como el bienestar, la satisfacción, percepciones y actitudes; pero ampliamente utilizado para las escalas diagnósticas, ensayos clínicos y estudios prospectivos,(23) por lo que se consideró útil para esta evaluación.

En general, los análisis descritos anteriormente indican que los marcos estadísticos y conceptuales están estrechamente relacionados y responden a las prácticas internacionales. Además, el análisis de sensibilidad ofrece a los usuarios información sobre la importancia de los indicadores, lo cual ayuda a interpretar mejor los resultados.

Conclusiones

A partir de los resultados en el proceso de validación se puede concluir que el instrumento propuesto es fiable, consistente, sensible al cambio y válido por lo que se propone su utilización para evaluar el impacto de las TIC en salud.

Referencias bibliográficas

1. Sánchez R, Gómez C. Conceptos básicos sobre la validación de escalas. Rev. Col. Psiquiatría. 1998;27:121-30.

2. Lamprea J, Gómez C. Validez en la evaluación de escalas. Rev. Colomb. Psiquiat. 2007;36:340-8.

3. Sánchez R, Echeverry J. [Validating scales used for measuring factors in medicine]. Rev Salud Pública (Bogota). 2004;6:302-18.

4. Montero E. Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actualidades en Psicología. 2013 [acceso 10/11/2022];27:113-28. Disponible en: http://pepsic.bvsalud.org/pdf/apsi/v27n114/a08.pdf

5. Escobar Pérez J, Cuervo Martínez A. Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances de Medición. 2008 [acceso 06/11/2022];6:27-36. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=2981181

6. García M, Suárez M. El método Delphi para la consulta de expertos en la investigación científica. Rev Cub Salud Pública. 2013 [acceso 10/11/2022];39:253-

67. Disponible en: https://revsaludpublica.sld.cu/index.php/spu/article/view/124/658

7. Unión Internacional de Telecomunicaciones. WSIS Outcome Documents. Ginebra: ITU; 2005 [acceso 10/11/2022]. Disponible en: http://www.itu.int/wsis

/outcome/booklet.pdf

8. Unión Internacional de Telecomunicaciones. Manual de Indicadores de Telecomunicaciones. Ginebra: ITU; 2007 [acceso 10/11/2022] Disponible en: http://www.itu.int/ITU-D/ict/handbook.html

9. Unión Internacional de Telecomunicaciones. Indicadores clave sobre TIC. Ginebra: ITU; 2010 [acceso 12/11/2022] Disponible en: http://new.unctad.org/upload/Core %20ICT%20 IndicatorsSpanish2010.PDF .

10. Unión Internacional de Telecomunicaciones. Índice de Desarrollo de las TIC. Propuesta. Ginebra: ITU; 2020 [acceso 06/11/2022] Disponible en:

https://www.itu.int/en/ITU/Statistics/Documents/events/ egh2020/IDI2020BackgroundDocument_S.pdf

11. Delgado-Ramos A, Vidal-Ledo M, Castañeda-Abascal I. Construcción de indicador sintético para medir impacto de las tecnologías de la información y las comunicaciones en salud. Revista Cubana de Salud Pública. 2023 [acceso 13/05/2023];49(1). Disponible en: https://revsaludpublica.sld.cu/index.php/spu/article/view/3945

12. Medina Díaz MdR, Verdejo Carrión AL. Validez y Confiabilidad en la evaluación del aprendizaje mediante metodologías activas. Alteridad. 2020;15(2):270-83. DOI: https://doi.org/10.17163/alt.v15n2.2020.10

13. Soler S. Coeficientes de confiabilidad de instrumentos escritos en el marco de la teoría clásica de los tests. Educ Med Super. 2008;22:1-14. [Sitio en Internet]. [acceso 10/11/2022] Disponible en: http://scielo.sld.cu/pdf/ems/v22n2/ems06208.pdf

14. Cronbach L. Coefficient alpha and internal structure of test. Psychometrika.1951;16:297-333

15. Aiken L. Test Psicológicos y evaluación. Confiabilidad y validez. Undécima edición. México: Pearson Educación. 2003 p. 85-107.

16. Medina JP, Ramírez MHD, Isaías M. Validez y confiablidad de un test en línea sobre los fenómenos de reflexión y refracción del sonido. Apertura. 2019;11(2):104- 21. DOI: http://dx.doi.org/10.32870/Ap.v11n2.1622

17. Medina JP, Ramírez MHD. Construcción de un test sobre fenómenos sonoros orientado a estudiantes de ciencias de la salud. Innovación Educativa. 2019 [acceso 21/11/2022];10(79):79-98. Disponible en: https://www.ipn.mx/assets/files/innovacion/docs/Innovacion-Educativa- 79/Construccion-de-un-test-sobre-fenomenos-sonoros-orientado.pdf

18. Hernández R, Mendoza C. Metodología de la investigación: las rutas cuantitativa, cualitativa y mixta. Ciudad de México: McGraw-Hill; 2018.

19. Asociación Médica Mundial. Declaración de Helsinki de la AMM – Principios éticos para las investigaciones médicas en seres humanos. Francia: AMM; 2017 [acceso 10/11/2022]. Disponible en: https://www.wma.net/es/policies-

post/declaracion-de-helsinki-de-la-amm-principios-eticos-para-las-investigaciones- medicas-en-seres-humanos/

20. Asociación Internacional de Informática Médica. El Código de Ética de IMIA para profesionales de la información de la salud. [2016] [acceso 10/11/2022]. Disponible: http://www.conganat.org/SEIS/colaboraciones/IMIA_Spanish.pdf

21. Pick S, López A. Como investigar en ciencias sociales. México: Trillas. Selección personal: los test psicológicos; 2000 [acceso 06/11/2022].. Disponible en: http://www.cepvi.com/trabajo/test2.shtml

22. da Silva FC, Gonçalves E, Arancibia BA, Bento G, Castro TL, Hernandez SS, et al. Estimadores de consistencia interna en las investigaciones en salud: el uso del coeficiente alfa. Rev Peru Med Exp Salud Publica. 2015 [acceso 06/11/2022];32(1):129-38. Disponible en: http://www.scielo.org.pe/pdf/rins/v32n1/a19v32n1.pdf

23. Luján Tangarife JA, Cardona Arias JA. Construcción y Validación de escalas de medición en salud: revisión de propiedades psicométricas. Archivos de Medicina. 2015 [acceso 10/11/2022];11(3):1. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5178935

Conflicto de intereses

Los autores declaran que no existe conflicto de intereses

Contribuciones de los autores

Conceptualización: Ariel Delgado Ramos.

Curación de datos: Ileana Elena Castañeda Abascal, María Josefina Vidal Ledo.

Análisis formal: Ariel Delgado Ramos. Investigación: Ariel Delgado Ramos. Metodología: Ariel Delgado Ramos.

Redacción - borrador original: Ariel Delgado Ramos, Ileana Elena Castañeda Abascal, María Josefina Vidal Ledo.

Redacción - revisión y edición: Ariel Delgado Ramos.