1. Introducción

Este artículo presenta un análisis de la estructura conceptual de la investigación en el Desempeño de Sistemas de Innovación DSI, basados en datos científicos de suscripción académica del servicio de WoS Clarivate.

Mediante la definición de la estructura conceptual se busca identificar y contrastar las visiones del conocimiento público del campo de investigación del Desempeño de los Sistemas de Innovación, la cual incluye la identificación de los patrones y avances dentro de sus tópicos [1].

Para abstraer información de la estructura conceptual de este de dominio de investigación y comprender su relaciones, patrones y vínculos, se selecciona el modelo de visualización de red, compuesto por nodos y vínculos. En los procesos de investigación, las redes han jugado un rol central en diversos estudios de la ciencia, tanto a nivel de representación, como de método. El análisis de la ciencia con base en un modelo de red, es un hito académico ampliamente aceptado [2] a nivel de cienciometría y bibliometría.

En ese sentido,el examen de la literatura basado en visualizaciones, puede rescatarnos de un mar de datos,ayudándonos a dar sentido a la información, conectar ideas y tomar mejores decisiones en tiempo real [3].

Se asume un enfoque mixto para la construcción del análisis de la estructura conceptual,guiado por el modelo de red de la ciencia y apoyado en la construcción de mapas científicos,tablas y modelos conceptuales como estrategia para abordar el volumen de datos de investigación y la complejidad inmersa en ese conjunto de datos.

A continuación, se aborda aspectos metodológicos asociados al proceso de análisis.

2. Metodología

Para la elaboración de este artículo, se presenta un enfoque adaptado de Revisión Sistemática de Literatura, RSL, a partir de la combinación de tres disciplinas: i) bibliometría, ii) análisis de redes aplicado y iii) visualización de redes científicas (cienciografía). Esta combinación se categoriza dentro de la tipología de revisiones sistemáticas de carácter mixto [4].La metodología de revisión propuesta se posiciona en las intersecciones entre los pares de disciplinas mencionadas y en el espacio de intersección entre esas tres.(ver figura 1).

Figura 1
Metodología adaptada para la construcción de la estructura conceptual.

La interacción conceptual y metodológica presentada en la figura 1,aporta en las siguientes áreas: i) un carácter sistemático en la identificación y extracción de datos por medio del uso de fuentes científicas de acceso abierto y de pago, ii) acceso a información para estimar indicadores con el fin de cuantificar la relevancia de los aportes del campo de investigación,basados en métodos cuantitativos para el análisis de contenido de la información, y iii) facilidad para la comprensión del campo de investigación, por medio de la visualización de relaciones entre unidades de análisis [5].

2.1 Métodos y herramientas

Las dos herramientas software seleccionadas para apoyar el proceso de RSL son:VOSviewer y UCINET.Estas herramientas son seleccionadas en función de criterios como complementariedad y usabilidad[6]. En adición, estas son de libre acceso para fines académicos y se encuentra soportadas en referentes científicos y metodológicos [7],[8],[9],[10],[11].

El software UCINET cuenta con material de soporte como libros y manuales para el análisis de redes y es una de las herramientas más usadas en artículos científicos, para el estudio de la innovación con base en fenómenos como la colaboración, la adopción de tecnología y las pruebas de hipótesis alrededor de los mismos [12],[13],[14].

Basados en resultados propios de investigación,se refiere el software VOSviewer como la herramienta de visualización científica de mayor impacto científico dentro de los últimos 10 años en el área de cienciometría y visualización científica.Esta herramienta posibilita el análisis de contenido a través de la minería de datos,y el mapeo de la estructura de las redes científicas por medio de la implementación de tres técnicas de visualización denominadas:i) normalización (ecuación 1), ii) clusterización, y iii) distribución [15]-[16].La técnica de normalización se basa en el indicador de fortaleza de asociación,que se interpreta como medida de similitud entre las unidades de análisis.La ecuación (1) expresa la fortaleza de asociación entre nodos mediante la relación entre el peso del número de vínculos de un nodo a_i,j, con el número esperado de vínculos de todos los nodos de la red e_i,j.

[1]

3. Resultados empíricos

La extracción de los metadatos para el análisis se ejecuta desde la interfaz de WoS Clarivate. El periodo de descarga de la información comprende los años 2009-2019.Se identificó un total de 4486 registros de documentos relacionados.El censo de todos los registros del conjunto bibliográfico,se exportó con el estándar de “registro completo” conformado por:información de citación,resúmenes,palabras clave y referencias,desde los dos formatos,.txt y tabwin. Mediante esta estrategia se obtiene un panorama sistemático de la producción en ciencia sobre el desempeño de los sistemas de innovación. La selección o exclusión de documentos no se lleva a cabo por criterios subjetivos.La relevancia de los tópicos se identifica en función de los resultados estadísticos y de los múltiples indicadores utilizados.

En función de las unidades de análisis definidas,palabras (keyword plus) y términos, los grafos presentados en este apartado se categorizan dentro del tipo de visualización “mapas de coocurrencia de palabras” y de acuerdo con el volumen de datos se categorizan como “MESO” o de “nivel local” por basarse en un volumen de entre 1000 y 100.000 registros[3].

Con el objetivo de abstraer la estructura conceptual y evidenciar los patrones de evolución del dominio de investigación del DSI,se despliegan visualizaciones a partir de las palabras clave y resúmenes de los artículos.Por medio del análisis de coocurrencia de palabras y términos,se caracteriza la estructura del campo de investigación desde la perspectiva semántica de las revistas y bases de datos y de la visión de los autores de los artículos.

3.1 Coocurrencia de palabras “keyword plus”

En la figura 2, así como en las visualizaciones subsiguientes dentro del EDA,se presenta mapas de red de tamaño estándar compuestos por 200 nodos y sus 100 vínculos de mayor fortaleza Dentro de los 4486 registros que componen el conjunto de datos,se identifica un total de 5595 palabras clave.Por medio de la aplicación de un umbral de coocurrencia mínima de 16 veces por palabra, se acota el tamaño del grafo hasta 211 nodos.

Una vez desplegadas las visualizaciones de prueba,se aplica la depuración de las redes por medio de un archivo de texto tipo tesauro.Este tesauro permite unir etiquetas de igual significado originadas en el reporte de singulares y plurales,como es el caso de los sistemas de innovación:“innovation systems”, “systems of innovation”, “innovation system” “system of innovation”. Un total de 33 reemplazos de etiquetas fueron operados en la fase de depuración.

La visualización de la figura 1,permite limitar cinco frentes de investigación o cluster diferenciados por los colores rojo, azul, morado, verde y amarillo.En adelante, las palabras clave de cada cluster,son trascritas en su idioma original en la tabla 9 junto a su frecuencia de coocurrencia, con el fin de mantener una descripción exacta de los tópicos, de su impacto dentro del conjunto y de la composición de los clusters.

Figura 2
Mapa de coocurrencia de “keyword plus”. Fuente. VOSviewer

Un total de 25 palabras se presentan en la tabla 1. Los nodos con posición central en la red presentan frecuencia de coocurrencia más altas. Esta coincidencia en la posición central y altos valores de frecuencia, se interpretan como madurez o consolidación del tópico dentro del dominio de investigación.

Tabla 1

Tópicos más frecuentes dentro de los clusters de key word plus.

3.2 Mapas de tópicos basados en los resúmenes de los artículos

Como un complemento a la visualización de los tópicos y sus vínculos a partir de las palabras clave,la figura 3 muestra la red de términos extraídos de los resúmenes de los artículos.La combinación de estas dos visualizaciones permite contrastar la visión de los autores plasmada en los resúmenes y la visión de las revistas plasmada en las “keyword plus”.

Con base a la similitud entre términos estimada por la función de clusterización y el indicador de fortaleza de VOSviewer,los colores de la figura dos, permiten diferenciar tres frentes de investigación:rojo (uno),azul (dos),y verde (tres).

La tabla 2 expone los términos más influyentes dentro de cada cluster,en función de la frecuencia de coocurrencia.

De acuerdo con la frecuencia de ocurrencia reportada en la tabla 2, los tópicos que lideran el interés de investigación dentro de los frentes de investigación son:Cluster verde-(Sistemas); Cluster rojo-(Roles) y Cluster azul-(Gestión).

Figura 3
Mapa de coocurrencia de “términos” extraídos desde los resúmenes. Fuente. VOSviewer

Los términos de los cluster uno y tres, reflejan en mayor proporción, el interés de los investigadores dentro del campo de investigación.

Tabla 2

Término más frecuentes dentro de los clusters de términos

3.3 Análisis de centralidad de los tópicos

La estimación de indicadores de centralidad dentro de las redes de coocurrencia de tópicos y términos permite identificar palabras que sirven de centros de articulación temática dentro de los campos de investigación.La tabla 3,resume los indicadores de centralidad de los tópicos más frecuentes dentro de la literatura científica de DSI.

Tabla 3

Indicadores de centralidad de los tópicos de investig ación en DSI

3.4 Discusión de resultados

La técnica más utilizada en la minería de textos bibliométricos se centra en palabras clave co-ocurrentes extraídas de títulos, resúmenes, o incluso análisis de texto [17].Diversos estudios han implementado este método para investigar los dominios de las en áreas como gamificación[18], IoT [19],agricultura [20]-[21],transporte[22] y en campos dentro de ciencias de la computación como la interacción humano computador[23]

Se reconocen diversas limitaciones y fortalezas dentro del análisis basado en visualizaciones científicas centrado en tópicos.Como fortalezas del análisis de tópicos, se destaca la estandarización y coherencia de los datos.Esto se evidencia en el número de clusters identificados,con el uso de las técnicas de minería de datos.

Dentro de las limitaciones resaltan el bajo volumen de información(5595 palabras clave indexadas)para los 4486 documentos.En adición,los mapas de coocurrencia despliegan un promedio de 200 nodos que equivale al 3.5% y 0.2% del volumen total de palabras y términos identificados. Esto supone la pérdida de un gran volumen de información de tópicos particulares.

El uso de datos de coocurrencia en la cienciometría,se apoya en el postulado que a mayor probabilidad de que dos elementos coocurran en el mismo documento, más fuertemente se relacionan[5].

Dado que el término ‘’innovation systems” y sus variantes se utilizan como palabras clave de búsqueda,no es sorprendente que‘’systems” e ‘’innovation systems” tengan las mayores frecuencias de co-currencia,482 y 550 respectivamente.Otras palabras clave de alta frecuencia son ‘’technology’’ (463),‘’knowledge’’(475),‘’research’’(362),‘’innovation (358),“dynamics” (354) “research and development” (345) “performance” (302) ‘’firms’’ (282),y ‘’science’’ (108).

La visualización de red de las figuras 1 y 2,se generan como producto del uso de las técnicas de distribución,clusterización y normalización de VOSviewer.Esta técnica de visualización,posibilita una comprensión rápida del panorama de los tópicos más centrales del campo de investigación en DSI así como las relaciones entre ellos (estructura conceptual).Debido a que cada uno de los tópicos y términos visualizados representa diversos componentes (tecnológicos, metodológicos) del campo de investigación,hace más eficiente el proceso de búsqueda y análisis de los contenidos más centrales y frecuentes.

La figura 1, consta de 200 nodos, 8221 enlaces y cinco cluster. Un nodo representa una “keyword plus”.El tamaño de cada nodo es proporcional a las frecuencias de coocurrencia de las palabras clave correspondientes. Cada cluster o frente de tópicos se representa con una serie de colores.

Al interior de cada cluster,las palabras de mayor frecuencia de coocurrencia sugieren la orientación temática de los mismos.Esta orientación se caracteriza mediante las etiquetas de tecnología, políticas,conocimiento, sistemas y Revista Ingenio, 19 (1), Enero-Diciembre 2022, pp. 1-8, ISSN 2011-642X – E-ISSN 2389-864X6geografía del desempeño innovador (tabla 2).

Como un complemento a la visualización de redes de coocurrencia,los resultados del análisis cuantitativo de la red de palabras clave (tabla 3),muestran su relevancia en función de indicadores de centralidad.

La incorporación de estos indicadores dentro de la metodología de análisis de contenido posibilitó un análisis cuantitativo que complementa el enfoque cualitativo de las visualizaciones de redes de coocurrencia [24].Los resultados indican que los conceptos de conocimiento,políticas,tecnología,dinámica e investigación tienen el más alto “grado” dentro de la red.En ese orden de ideas, se infiere que estos conceptos fueron los más usados en ese periodo y que son los conceptos más asociados con otros conceptos.

Dado que estos conceptos sirven como “hubs” o centros de información, podría inferirse razonablemente que reflejan el contenido del campo de investigación en DSI.Además, observamos en la tabla (3) que los tópicos de políticas,tecnología y sistemas también tienen las puntuaciones más altas de “interrelación” que indican que estos conceptos sirven como puentes entre componentes o subgrupos de palabras o temáticas en emergencia dentro de la red.

Los anteriores hallazgos reflejan la estructura conceptual del campo de investigación centrada en la visión de las revistas expresada en las “keyword plus”.En contraste los resultados de la visualización de la red de términos de la figura 2,la cual consta de 200 nodos,33872 vínculos y tres cluster,refleja la perspectiva de los autores de los artículos.Al interior de cada cluster,los “términos” de mayor frecuencia de coocurrencia,sugieren la orientación temática de los mismos.Esta orientación se caracteriza mediante las etiquetas de roles, gestión y sistemas,(tabla 2).Este subconjunto términos se complementa con los términos industria, transiciones y efectos.

El análisis de términos refleja una visión de los autores centrada en los “sistemas”.Su alta frecuencia de coocurrencia se distancia de los demás del conjunto, pues representa más del doble de la frecuencia de ocurrencia de otros términos como los roles o gestión.

Una explicación de este fenómeno,lo brinda los postulados de la Ley de Zipf.Esta afirma que las personas tienden a preferir palabras más usuales sobre las que se usan raramente.En general,la mayoría de las palabras más frecuentes son también las más cortas y fáciles de pronunciar [25].De esa forma se infiere que los autores optan por las expresiones más cortas como es el caso de sistemas en lugar de sistemas de “sistemas de innovación agrícola” o “sistemas de innovación sectorial”.

4. Conclusiones

Para la abstracción de la estructura conceptual de la investigación en DSI,se apropia un modelo de red de la ciencia.Este modelo es ampliamente aceptado en estudios bibliométricos y cienciométricos.

Se utilizaron datos bibliométricos relacionados con 4486 registros de revistas indexadas en WoS,los métodos de visualización científica de redes de coocurrencia de palabras y términos con VOSviewer y las técnicas de análisis de centralidad de los nodos del software UCINET,para examinar el desarrollo de la investigación en el Desempeño de los Sistemas de Innovación. La metodología de extracción y las herramientas de procesamiento,posibilitaron una evaluación sistemática del censo de los registros identificados.

Los análisis y visualizaciones de coocurrencia permitieron explorar la relevancia de los contenidos de la investigación mediante el uso de las unidades de análisis de “keyword plus” y “términos”.Mediante el examen de las “keyword plus” se identifica la importancia de los tópicos o conceptos de conocimiento, tecnología, políticas, dinámicas e investigación.Estos actúan como “hubs” de información y generan un puente entre esos tópicos consolidados y otras temáticas en emergencia como:emprendimiento,adopción y ecosistemas.

De otra parte, el examen de los “términos” extraídos de los resúmenes,refleja un patrón de importancia relativa de los temas centrados en sistemas, roles y gestión.A pesar de esta aparente divergencia, se identifica una convergencia de la investigación en Desempeño de los Sistemas de Innovación,alrededor del estudio del tópico del “cambio climático”, asociado al problema mundial de degradación ambiental.Este tópico ha derivado en una subárea en consolidación como es las “transiciones de los sistemas sociotécnicos, tales como los sistemas de servicios públicos de producción de energía”.

El análisis de términos refleja un enfoque conceptual y metodológico en desarrollo, alrededor del “análisis de redes sociales” para el estudio de los sistemas de innovación dentro de enfoques sectoriales, tecnológicos, sociotécnicos, sostenibles o globales.El resultado de la clusterización de los análisis de coocurrencia de palabras, representan frentes temáticos o redes de conceptos construidas con un enfoque “objetivo” sin la intervención de expertos en la materia.

El uso de las técnicas de visualización de redes de coocurrencia,hizo posible el análisis rápido y la comprensión eficiente de la estructura conceptual compuesta por los vínculos entre las unidades de análisis del estudio:palabras clave indexadas y términos extraídos de los resúmenes.

La metodología presentada que combina las visualizaciones científicas complementadas con el ARS y la bibliometría propuesta dentro de este artículo, constituye un aporte académico para su aplicación como herramienta visual-analítica en la práctica y gestión de la investigación y extensión universitaria o empresarial.

5. Referencias

[1] S. Kumari, M. K. Khan, and M. Atiquzzaman, “User authentication schemes for wireless sensor networks: A review,” AD HOC NETWORKS, vol. 27, pp. 159–194, 2015. Doi: https://doi.org/10.1016/j.adhoc.2014.11.018

[2] S. Milojevic, “Network analysis and indicators,” 2014.

[3] K. Borner,Atlas of knowledge:Anyone can map,1st ed. London,England:Massachusetts Institute of Technology, 2015.

[4] M.J. Grant, A.Booth,and S.Centre, “A typology of reviews:an analysis of 14 review types and,” pp. 91–108, 2009. Doi: https://doi.org/10.1111/j.1471-1842.2009.00848.x

[5] B.Vargas-Quesada and F. de Moya Aragón,Visualizing the structure of science. New York, NY, 2007.

[6] D. Flores-bueno and A. Uribe-tirado, “The Gamification in the Development of Information Literacy from the Perspective of University Students Abstract,” vol. 44, 2021.

[7] N. J. van Eck and L. Waltman, “Software survey:VOSviewer, a computer program for bibliometric mapping,” Scientometrics, vol.84(2), pp.523–538,2010. Doi: https://doi.org/10.1007/s11192-009-0146-3

[8] N. J. van Eck and L. Waltman,“Text mining and visualization using VOSviewer,” pp. 1–2, 2011.

[9] N.J. Van Eck and L. Waltman, “VOSviewer Manual,” 1 January 2013,January, pp.1–28,2013.Doi: https://doi.org/10.3402/jac.v8.30072

[10] L. C. Borgatti,S.P.,Everett, M.G. and Freeman,“Ucinet 6 for Windows: Software for Social Network Analysis.”Harvard, MA:Analytic Technologies.,2002.

[11] J. C. Borgatti,Stephen P; Everet, Martin G; Johson,Analyzing Social Networks, vol. 136,no.1. SAGE Publications Ltd 1 Oliver ’s Yard 55 City Road London EC1Y 1SP, 2013.

[12] B. A. L. E. Angulo Cuentas Gerardo Luís,Charris Polo Maryuris, “Technology partners’ identification through social network analysis on patent documents,” Clío Amèrica , vol.6(12),pp. 203–222, 2012.

[13] M. M. Universitat Autònoma de Barcelona. and F. Hartwich,Redes:revista hispana para el análisis de redes sociales., vol.14(0).Universitat de Autònoma Barcelona, 2008.

[14] G. González Alcaide, J. C. Valderrama Zurián, R. Aleixandre Benavent, A. Alonso Arroyo, J. I. de Granda Orive, and S. Villanueva Serrano,“Redes de coautoría y colaboración de las instituciones españolas en la producción científica sobre drogodependencias en biomedicina 1999-2004,” Trastor. Adict., vol. 8(2),pp. 78–114,Jun. 2006.Doi:https://doi.org/10.1016/S1575-0973(06)75110-8

[15] P.Suclupe-navarro, C. H. Limaymanta, N. H. Ramírez, and H. Guillén, “Producción científica sobre ansiedad bibliotecaria : un análisis bibliométrico y cienciométrico desde Scopus,” vol.44(2), pp.1–13, 2021.

[16] J. Gil-quintana, S. Santoveña-casal, and E. R. Riaño, “Realfooders Influencers on Instagram : From Followers to Consumers,” pp. 1–17, 2021.

[17] C. H. Limaymanta, E. Romero-Riaño, J. Gil-Quintana, L. Huaroto, Á. Torres Toukoumidis, and R. Quiroz de García, “Gamificación en educación desde Web of Science. Un análisis con indicadores bibliométricos y mapas de visualización,” Rev. Conrado, vol. 16(77), pp. 399–406, 2020.

[18] A. M. Beltran and E. Romero-Riaño,“Juegos y gamificación para el desarrollo la conciencia ambiental:una revisión bibliométrica the role of gamification in the environmental awareness:a bibliometric review,”Prism. Soc.,vol.30(3), pp. 161–185, 2020

[19] M. Dayahna Caro M., R. Efrén Romero, M. Alexandra Espinosa C, and C. D. Guerrero, “Evaluating usability contributions in ICT-IOT solutions for agriculture: A bibliometric perspective |Evaluando contribuciones de usabilidad en soluciones TIC-IOT para la agricultura: Una perspectiva desde la bibliometría,” RISTI - Rev. Iber.Sist. e Tecnol. Inf., vol. 2020(E28), pp.681–692, 2020.

[20] E. Romero-Riaño, P. Arenas-Díaz, J. H. Puyana-Valdivieso, P. A. Montenegro, and A. C. Vera-Merchán, “La extensión agrícola como eje de desarrollo de la capacidad de colaboración al interior de sistemas de innovación agrícola: un enfoque de perfil de investigación,” Debates sobre innovación, vol. 3, December, pp. 21–33, 2019.

[21] E.Romero-Riaño,L.Guarín-Manrique, M. Dueñas-Gómez, and L. Becerra-Ardila, “Reference framework for capabilities development in agricultural innovation system [Marco de trabajo para el desarrollo de capacidades en sistemas de innovación agrícola],” DYNA, vol. 86(210), pp. 23–34, 2019.Doi:https://doi.org/10.15446/dyna.v86n210.74475

[22] G. M. Martinez-Toro, G. C. Ariza-Zabala, D. W. Rico Bautista, and E. Romero-Riaño,“Human computer interaction in transport,a systematic literature review,” J. Phys. Conf. Ser., vol.1409(1),2019.Doi:https://doi.org/10.1088/1742-6596/1409/1/012002

[23] G. M. Martínez-Toro, D. Rico-Bautista, E. Romero-Riaño, C.J. Galeano-Barrera,C.D. Guerrero, and J. A. Parra-Valencia,“Analysis of the intellectual structure and evolution of research in human-computer interaction:A bibliometric analysis ,”RISTI - Rev. Iber. Sist. e Tecnol. Inf., no.E17, pp. 363–378, 2019.

[24] UIS,Findeter, and BID,“Agrópolis de Santander Magdalena Medio - Estudios de Profundización Escala Diamante.” 2016.

[25] R. U. Alvarado and C. R. Arango,“Zipf’s law and Goffman’s transition point in the automatic indexing ,” Investig. Bibl., vol.25(54),pp.71–92, 2011. Doi:http://dx.doi.org/10.22201/iibi.0187358xp.2011.54.27482