I. INTRODUCCIÓN

La relación entre la publicidad y las ventas es un fenómeno ampliamente estudiado en marketing, esto es evidencia en el número de resultados que se obtienen al digitar palabras claves en cualquier buscador. Autores como Hu et al (2014) afirman que el marketing (publicidad) lleva al usuario a dos comportamientos, el primero de ellos produce un interés por parte del usuario sobre el producto y el segundo que el usuario se transforme en un consumidor de dicho bien o servicio, incrementando así las ventas; Joshi y Hanssens (2010) analizan la dinámica del gasto de publicidad y la valoración de mercado a largo plazo de las firmas, visto como un efecto directo.

Las ventas de una compañía también se ven influenciadas por la percepción de la marca por parte de los usuarios (Buil, Chernatony, & Matínez, 2013), o por la credibilidad del anuncio (publicidad) mediante el cual se da a conocer el producto (Dean & Biswas, 2001).

Sin embargo pocos estudios se enfocan en analizar la efectividad del gasto realizado en publicidad (tradicional o no tradicional) y el retorno sobre las ventas, Fischer et al. (2016) destaca que aumentos en la capacidad de respuesta del marketing tradicional (publicidad) como un buen direccionamiento del mensaje puede incrementar de manera sustancial el flujo de efectivo de una firma, mientras que estudios como el de Dehghani y Tumer (2015) analizan la efectividad de la publicidad en un medio no tradicional como es la red social Facebook encontrando que dicha publicidad incrementa el valor e imagen de la marca aumentando la probabilidad e intención de compra de los usuarios.

Con la llegada de las redes sociales, compartir diferentes aspectos de la vida así como gustos y preferencias se ha vuelto una práctica común; ­comprendiendo por red social a aquellas plataformas digitales que permiten la obtención de un perfil de usuario propio y a la vez modificable con acceso y conexión a otros usuarios, además con la opción de compartir contenido/información (Boyd, 2008); cambiando la forma en que las personas interactúan con las empresas (Dahan & Hauser, 2003), generar colaboración, crear productos (Rathore, Llavarasan, & Dwivedi, 2016), utilizando de manera posterior dicha información para identificar público objetivo (Chen, Goes, Marsden, & Zhang, 2009), entre otros aspectos claves que resultan determinantes en el desarrollo de un negocio o empresa (Quiñonez & Rodríguez , 2017).

En el presente estudio se busca monitorear la efectividad del gasto en publicidad mediante la condición Dorfman Steiner utilizando la información proveniente de la red social Twitter a través de la creación de indicadores de gestión (KPI’s = Key Performance Indicators) y una métrica de sentimientos que considerará los comentarios provistos por los usuarios de dicha red contribuyendo de la siguiente forma:

• Una métrica de sentimiento basado en datos/comentarios recolectados de Twitter para las empresas del sector comercio del Ecuador.

  Estimar el efecto entre los KPI’s del marketing digital, la métrica de sentimiento y la condición Dorfman – Steiner.

Los KPI’s del marketing digital surgen como una necesidad de controlar y monitorear el gasto o su crecimiento producido en campañas de marketing, siendo capaz de desarrollar medidas confiables de la contribución del marketing en la rentabilidad de la empresa (Farris, Hanssens, Lenskold, & Reibstein, 2015), tienen cuatro propósitos que se encuentran ligados a generar información sobre el mercado, dichos propósitos son: establecer una marca, difundir información crítica, generar un mayor alcance entre la audiencia y crear un compromiso con el público u otras empresas (Neiger, y otros, 2012).

II. TRABAJOS RELACIONADOS

Las redes sociales permiten la manipulación de la información de sus usuarios a fin de incrementar la colaboración, creación de herramientas de estudio y análisis por parte de emprendedores, investigadores y/o estudiantes; Brettel et al. (2015) en su trabajo “¿Qué impulsa el éxito publicitario en Facebook?” analizaron diferentes tipos de interacciones (likes, impresiones, etc.) con el volúmen de ventas, considerando la página oficial de Facebook de una de las principales empresas alemanas dedicadas a la venta al por menor. Realizando una recolección mensual de datos durante un año, llegando a la conclusión de que muchos de los usuarios están dispuestos a realizar sus propias búsquedas de información sin necesidad de que este sea recomendado por un tercero, y en el peor de los casos que este llegue de forma invasiva a su buzón de mensajes en la misma aplicación, además concluyeron que la interacción de comentarios o reacciones están ligadas de forma positiva a las venta de la empresa.

Saura, R. y otros (2017) en su investigación “Comprendiendo el entorno del marketing digital con KPI’s y análisis web”, analizaron diversos indicadores de gestión del marketing digital que las empresas deben comprender, y a la vez cuales de estos deben ser administrados de mejor forma para lograr un aumento de efectividad en las campañas de publicidad a realizarse en redes sociales, y finalizaron con la propuesta de formulación de nuevos indicadores.

Tamrakar Bahadur (2016) analiza el impacto de redes sociales en el rendimiento financiero de un grupo de empresas, mostrando la relación creciente entre el uso de las redes sociales y la apreciacion de las marcas, describiendo como los cambios en la apreciación de los consumidores se traduce como una mejora en el desempeño financiero de las empresas estudiadas.

Zhang, Fuehers, & Gloor (2011) es uno de los primeros en utilizar datos proveniente de la red social Twitter como un predictor de los indicadores del mercado de valores, para ello los autores recolectaron las publicaciones de los perfiles de empresas en twitter en un periodo de seis meses, de forma aleatoria escogieron como muestra el 1% del total de tweets recolectados que luego serían tratados y analizados encontrando una correlación negativa y siginificativa entre los tweets tomados como muestra y cada uno de los indices bursátiles analizados.

III. DATASET

III.I Descripción del dataset

El dataset construido tuvo dos fuentes de información, una de ellas fue la página web de la Superintendencia de Compañías Valores y Seguros y la segunda fuente fue la red social Twitter. Para la recopilación de datos de las distintas fuentes se tomó en consideración 88 empresas, las cuales fueron seleccionadas de acuerdo al ranking según el nivel de ingreso para las empresas del sector comercio durante el periodo 2018 y que concentraron 48% del total de las ventas.

Para las 88 empresas se extrajeron los estados financieros, de los cuales se utilizó la cantidad de dinero destinado a publicidad y su nivel de ingreso por venta para el año 2018.

Mientras que, para la recolección de datos en twitter se hizo uso de la Application Programming Interface (API) de twitter que permitió acceder a la función de recolección de tweets con su respectiva información. Para este proceso se tomó en consideración únicamente los tweets que fueron publicados durante período 2018, recolectando un total de 49,685 tweets. Para la recolección de dicho datos se tomó en consideración las marcas principales de cada empresa. En la figura 1 se muestra el proceso utilizado para formar el dataset.

Figura 1.
Estructura de recolección de datos

Modelo empleado para formar el dataset.

Con el dataset construido se formaron 6 variables, de las cuales 3 son variables basadas en los datos de twitter tales como número de retweets, favoritos promedio y la métrica de sentimiento. Y por el lado financiero, se obtuvo el monto de dinero destinado a publicidad, el nivel de ingreso por venta y la condición de Dorfman-Steiner. En la tabla 1 se muestra una descripción de las variables utilizadas y su respectiva descripción.

III.II Preprocesamiento en datos de texto.

Para el uso de los datos de twitter se realizó un preprocesamiento al texto de los tweets, con el objetivo de convertir el texto a una representación numérica para su posterior uso en el cálculo de la métrica de sentimiento. En la figura 2 se presenta la estructura usada para el preprocesamiento de texto (Daniel, Ferreira, & Horta, 2017).

Figura 2.
Estructura de preprocesamiento de texto en tweets.

Pasos seguidos para realizar la transformación de texto a una forma numérica.

Limpieza General. En esta etapa se removió del texto: signos de puntuación, hashtags, direcciones URL, usuarios, etc.

Remover Stop Words. Se define como stop words o palabras vacías a aquellas palabras que carecen de un significado por sí solas, debido a que no aportan un significado al contenido del texto, tales como: artículos, conjunciones, preposiciones, pronombres, etc.

Stemming. Esta etapa consiste en reducir las palabras a su raíz, con el objetivo de eliminar palabras repetitivas una vez empleado Stemming.

Representación numérica. Para la representación numérica de texto se usó técnicas de Word Embedding basado en frecuencia (TI-IDF), el cual consiste en asignar una palabra a un vector usando un diccionario.

El resultado del procesamiento realizado será posteriormente utilizado para el modelo de clasificación a través de Support Vector Machines (SVM), con el fin de clasificar la polaridad de un tweet (tweet positivo, negativo o neutro) y obtener una métrica de sentimiento.

IV. METODOLOGÍA

En primer lugar, para el cálculo de la métrica de sentimiento se utilizó la representación numérica del texto de los tweets obtenidos en la sección III.II. El modelo escogido para realizar la tarea de clasificación de la polaridad de un tweet fue SVM, debido a su gran aplicación para problemas de clasificación como de regresión. El objetivo de este modelo es encontrar un hiperplano en un espacio dimensional N que clasifique de forma clara los datos, el cual presenta la siguiente formulación:

Función de Costo a Minimizar.

(1)

(2)

Donde:

• $\textcolor{red}{}x$ : son las variables de entrada

  $\textcolor{red}{}y$ : categorías asignadas

  $\textcolor{red}{}\lambda$ : hiperparámetro de regularización

  $\textcolor{red}{}w$ : pesos/parámetros del modelo

  $\textcolor{red}{}f\left(x\right)$ : predicción del modelo

  $\textcolor{red}{}b$ :sesgo o constante

Con los resultados obtenidos del modelo de SVM se calculó la métrica de sentimiento, que posteriormente será utilizado tanto en el análisis de correlación y en el modelo de regresión.

En este análisis se utilizó como variable dependiente la condición de Dorfman-Steiner (1954), debido a que esta variable busca el gasto óptimo de publicidad para el precio de un producto. Esto se lo realiza mediante una regla que relaciona los ingresos marginales de publicidad y la elasticidad precio de la demanda del producto.

Posteriormente, para evaluar la relación entre los indicadores de gestión para el marketing digital frente a la condición de Dorfman-Steiner se realizó un análisis de correlación entre las variables calculadas. El análisis de correlación se lo realizó a través del coeficiente de correlación de Spearman (1904), presentado la siguiente formulación para el cálculo:

(3)

Donde:

• $\textcolor{red}{}d$ :diferencia entre rangos.

  $\textcolor{red}{}n$ :número de datos.

  : coeficiente de correlación de Spearman.

Para evaluar efecto de los indicadores en base a datos de twitter frente a la condición de Dorfman-Steiner, se planteó un modelo de regresión lineal múltiple estimado mediante mínimos cuadrados generalizados. En la especificación del modelo de regresión planteado no solo se buscó evaluar el efecto que tiene cada indicador por separado, también se evaluó la interacción entre los indicadores frente a la condición de Dorfman-Steiner. A continuación se presenta la especificación del modelo planteado:

(4)

Donde:

• : Es el nivel óptimo para la condición de Dorfman - Steiner

  : Efecto adicional por parte de la cantidad de retweets promedio para la empresa $\textcolor{red}{}i$ .

  : Es la cantidad de retweets promedio para la empresa $\textcolor{red}{}i$

  : Efecto adicional por parte de la cantidad de favoritos promedio para la empresa $\textcolor{red}{}i$

  : Es la cantidad de favoritos promedio para la empresa $\textcolor{red}{}i$

  : Efecto adicional por parte de la métrica de sentimiento para la empresa $\textcolor{red}{}i$

  : Es la métrica de sentimiento para la empresa $\textcolor{red}{}i$

  : Efecto adicional entre la interacción de la cantidad promedio de retweets y favoritos para la empresa $\textcolor{red}{}i$

  : Efecto adicional entre la interacción de la cantidad promedio de retweets con la métrica de sentimiento para una empresa $\textcolor{red}{}i$

  : Efecto adicional entre la interacción de la cantidad promedio de favoritos con la métrica de sentimiento para una empresa $\textcolor{red}{}i$

  : Ratio entre el gasto en publicidad y el ingreso por venta para la empresa $\textcolor{red}{}i$

  : Es el término de error del modelo

V. RESULTADOS

V.I Modelo de clasificación SVM

Para el proceso de identificación de la polaridad de un tweet se utilizó modelo de clasificación SVM. Para emplear el modelo SVM se escogieron aleatoriamente 500 tweets del total datos recolectados, de los cuales se tenía conocimiento su polaridad al haberlos etiquetado manualmente. Los 500 tweets se separaron en dos grupos, 400 pertenecían a los datos de entrenamiento y 100 a los de evaluación. Para la clasificación de la polaridad de un tweet se tuvo en consideración 3 clases que son: positivos, negativos y neutros.

A continuación se muestran los parámetros empleados en los datos de entrenamiento:

• SVM – tipo: Clasificación

  SVM – kernel: Radial

  Costo: 1.04

  Gamma: 3.2

  Número de vectores de soporte: 354

Con los parámetros mostrados se obtuvo un nivel de precisión de 68%. Posteriormente el modelo utilizado en los datos de entrenamiento se lo empleo en los datos de evaluación y se obtuvo como resultado un nivel de precisión del 74%.

De esta manera se logra una mayor precisión en los datos de evaluación en comparación con los datos de entrenamiento, por lo cual el modelo entrenado generaliza la calificación de tweets eficientemente. El modelo entrenado servirá para predecir la polaridad del resto de tweets y así construir la métrica de sentimiento (Stefan Feuerriegel, Julius Gordon, 2018). En la figura 3 se muestra el comportamiento de la polaridad de los tweets durante el periodo 2018, junto con la métrica de sentimiento.

Figura 3.
Frecuencia semanal de la polaridad de tweets y la métrica de sentimiento

Cantidad total de tweets según la polaridad durante el periodo 2018, junto con métrica de sentimiento

V.II Análisis de correlación

En la presente investigación se realizó en primer lugar el análisis de correlación entre los indicadores financieros y los KPI’s propuestos que se muestra en la figura 4. Además, se formuló las siguientes hipótesis:

H1. Existe una relación positiva o negativa entre la métrica de sentimiento y la condición de Dorfman- Steiner.

A través del análisis de correlación en la figura 4 se encontró que existe una relación inversa entre la condición de Dorfman-Steiner y la métrica de sentimiento el cual tuvo un valor de -0.26. Este resultado indica que para la reducción de la condición de Dorfman-Steiner, se tendría que disminuir el gasto en publicidad o aumentar el nivel de ingreso. Es decir, un aumento en la valoración de la métrica de sentimiento (manteniendo constante el gasto en publicidad) produce un aumento en el nivel de ingreso del sector comercio, por tanto la condición de Dorfman-Steiner disminuye, interpretando que gasto realizado en publicidad sea eficiente.

Además se obtuvo una relación positiva tanta para la cantidad promedio de retweets y favoritos con la condición de Dorfman-Steiner, obteniendo valores de 0.21 y 0.26 respectivamente.

Adicionalmente, se encontró que existe una fuerte relación positiva de 0.87 entre la cantidad promedio de retweets y favoritos. Este resultado es soportado con trabajos previos realizados y se puede observar en la figura 5 el comportamiento de estos indicadores durante el 2018.

Figura 4.
Correlaciones mediante mapa de calor

Cálculo de correlaciones entre las variables de estudio

Figura 5.
Cantidad promedio de favoritos y retweets.

Comportamiento de indicadores durante el periodo 2018.

V.III Análisis de regresión

Para el análisis de regresión se realizó una separación por cuartiles para las 88 empresas en base a la cantidad de tweets publicados, debido a que la cantidad de tweets presentaba una distribución sesgada positivamente. Se planteó la misma especificación del modelo presentado en la sección III para cada uno de los cuartiles, a continuación en la tabla 2 se muestran los principales resultados obtenidos:

En la tabla 2 los resultados correspondientes al número total de empresas, solo se encontró un efecto significativo entre la interacción de las variables cantidad promedio de favoritos con la cantidad promedio de retweets cuyo valor fue de -0.0002.

Por otro lado, los resultados correspondientes a las empresas ubicadas en el segundo cuartil (empresas con una cantidad de tweets entre 182 y 432) se encontró más de una variable con efectos significativos para este grupo de empresas. La cantidad promedio de retweets y favoritos, y además las interacciones entre la métrica de sentimiento con el resto de variables presentaron valores significativos. Los resultados para este grupo de empresas demuestran que el sentimiento que se expresa al publicar un tweets juega un rol importante. Para el resto de cuartiles no se encontró un efecto significativo, por lo cual fueron adjuntos en la tabla de resultados.

El mayor efecto positivo significativo sobre la condición de Dorfman-Steiner para las empresas ubicadas en el 2do cuartil se da por parte de la cantidad promedio de retweets, y se interpreta que si al aumentar en una unidad la cantidad promedio de retweets se esperaría que el valor de la condición de Dorfman-Steiner aumente en promedio en 0.19 puntos.

En cambio, el mayor efecto negativo significativo sobre la condición de Dorfman-Steiner para las empresas ubicadas en el 2do cuartil se da por parte de la interacción entre la cantidad promedio de retweets y la métrica de sentimiento. Este efecto negativo tendría la siguiente interpretación, que si al aumentar en una unidad la interacción entre la cantidad promedio de retweets y la métrica de sentimiento se esperaría que el valor de la condición de Dorfman-Steiner disminuya en promedio en 0.30 puntos.

V.IV Condición de Dorfman-Steiner

H2. Se encuentra en equilibrio el gasto de publicidad para el sector comercio del Ecuador

En este estudio y con los datos obtenidos el gasto de publicidad en redes sociales eficiente debe encontrarse en el punto 0.1576 resultado que procede de la elasticidad de la publicidad frente a la producción cuyo valor calculado es de 0.55, es decir que cambios porcentuales (1%) en gasto de publicidad genera un impacto en el 0.55 en los bienes producidos; dicho en término monetarios inversiones de 1 ctv. en publicidad tiene una repercusión en 0.55 dólares de productos. En cambio, la elasticidad precio de la demanda muestra que los precios en el mercado ecuatoriano son elásticos con un valor de 3.47 que implica que variaciones en el precio causaran una respuesta inmediata en la demanda de los consumidores.

La forma en que la condición de Dorfman-Steiner medida a través de los diferentes KPI’s propuestos alcance el mismo nivel que el cálculo encontrado de 0.1576, se debería mejorar la calidad del contenido sin incrementar el nivel de gasto mantenido actualmente.

VI. CONCLUSIONES

Los resultados encontrados en esta investigación apuntan a encontrar estrategias que permitan conseguir el nivel óptimo de gasto en publicidad para una empresa, a través de los KPI’s propuestos. Además, los resultados demuestran que existe información relevante en la parte textual de los tweets, que al brindarle un mejor aprovechamiento ofrecerá un mayor nivel de información a las firmas.

Por otro lado, al plantear una métrica que cuantifique el tipo de contenido que se expresa en los tweets permitió observar el comportamiento durante un periodo de tiempo, e identificar los momentos claves para tomar mejores decisiones en el área de publicidad.

La investigación realizada podría tener dos limitaciones. La primera limitación se da al utilizar como única fuente de datos la red social Twitter, debido a la restricción de recolección de datos para otras redes sociales. La segunda limitación se da al utilizar datos de corte transversal, debido a que twitter permite recolectar una cantidad limitada de datos por usuario, por lo cual solo se consiguió agrupar los datos anualmente.

En el análisis realizado se halló la existencia una correlación moderadamente negativa que se da entre la métrica de sentimiento y la condición de Dorfman-Steiner. Además, se constató una correlación positiva entre la cantidad promedio de retweets y favoritos con la condición de Dorfman-Steiner. En los modelos de regresión expuestos se encontró efectos significativos para empresas con poca cantidad de tweets publicados. También, en los modelos se determinó que la métrica de sentimiento al interactuar con los demás KPI’s mostraban efectos significativos para la variable dependiente. Por lo cual, la métrica de sentimiento juega un rol fundamental al plantear conseguir el nivel óptimo de gasto en publicidad para una empresa.

REFERENCIAS

Alalwan, A. A. (2018). Investigating the impact of social media advertising features on customer purchase intention. International journal of information management, 42, 65–77. doi:10.1016/j.ijinfomgt.2018.06.001

Beloff, N., & Pandya, P. (2010). Advertising models on social networks for smes-an advertising methodology. 2010 International Conference on Internet Technology and Applications. doi:10.1109/itapp.2010.5566329

Boyd, D.M., & Ellison, N.B. (2008). Social Network Sites: Definition, History, and Scholarship. Journal of Computer-Mediated Communication, 13, 210-230. doi:http://dx.doi.org/10.1111/j.1083-6101.2007.00393.x

Brettel, M., Reich, J.C., Gavilanes, J. M., & Flatten, T. C. (2015). What drives advertising success on Facebook? An advertising-effectiveness model. Journal of Advertising Research, 55(2), 162–175. doi:10.2501/jar-55-2-162-175

Buil, I., De Chernatony, L., & Matínez, E. (2013). Examining the role of advertising and sales promotions in brand equity creation. Journal of Business Research, 66(1), 115-122. doi:doi.org/10.1016/j.jbusres.2011.07.030

Chen, L., Goes, P., Marsden, J. R., & Zhang, Z. (2009). Design and use of preference markets for evaluation of early stage technologies. Journal of Management Information Systems, 26(3), 45-70. doi:10.2753/mis0742-1222260302

Dahan, E., & Hauser, J. (2003). The virtual customer. Journal of Product Innovation Management, 19(5), 332-353. doi:doi.org/10.1111/1540-5885.1950332

Daniel, M., Ferreira, R. F., & Horta, N. (2017). Company event popularity for financial markets using Twitter and sentiment analysis. Expert Systems with Applications, 71, 111-124. doi:doi.org/10.1016/j.eswa.2016.11.022

Dean, D.H., & Biswas, A. (2001). Third-party organization endorsement of products: an advertising cue affecting consumer prepurchase evaluation of goods and services. Journal of Advertising, 30(4), 41-57. doi:10.1080/00913367.2001.10673650

Dehghani, M., & Tumer, M. (2015). A research on effectiveness of Facebook advertising on enhancing purchase intention of consumers. Computers in Human Behavior, 49, 597-600. doi:doi.org/10.1016/j.chb.2015.03.051

Dorfman, R., & Steiner, P. O. (1954). Optimal advertising and optimal quality. The American Economic Review, 44(5), 826-836.

Farris, P.W., Hanssens, D.M., Lenskold, J.D., & Reibstein, D.J. (2015). Marketing return on investment: Seeking clarity for concept and measurement. Applied Marketing Analytics, 1(3), 267-282.

Feuerriegel, S., & Gordon, J. (2018). Long-term stock index forecasting based on text mining of regulatory disclosures. Decision Support Systems, 112, 88–97. doi:10.1016/j.dss.2018.06.008

Fischer, M., Shin, H. S., & Hanssens, D. M. (2016). Brand performance volatility from marketing spending. Management science, 62(1), 197-215.

Godey, B., Manthiou, A., Pederzoli, D., Rokka, J., Aiello, G., Donvito, R., & Singh, R. (2016). Social media marketing efforts of luxury brands: Influence on brand equity and consumer behavior. Journal of Business Research, 69(12), 5833–5841. doi:10.1016/j.jbusres.2016.04.181

He, W., Wu, H., Yan, G., Akula, V., & Shen, J. (2015). A novel social media competitive analytics framework with sentiment benchmarks. Information & Management, 52(7), 801–812. doi:10.1016/j.im.2015.04.006

Henningsen, S., Heuke, R., & Clement, M. (2011). Determinants of advertising effectiveness: The development of an international advertising elasticity database and a meta-analysis. Business Research, 4(2), 193–239. doi:10.1007/bf03342755

Hu, Y., Yuxing, R., & Damangir, S. (2014). Decomposing the Impact of Advertising: Augmenting Sales with Online Search Data. Journal of Marketing Research, 51(3), 300-319. doi:doi.org/10.1509/jmr.12.0215

Joshi, A., & Hanssens, D. M. (2010). The direct and indirect effects of advertising spending on firm value. Journal of Marketing, 74(1), 20-33. doi:https://doi.org/10.1509/jmkg.74.1.20

Kim, A. J., & Ko, E. (2012). Do social media marketing activities enhance customer equity? An empirical study of luxury fashion brand. Journal of Business Research, 65(10), 1480–1486. doi:10.1016/j.jbusres.2011.10.014

Liu, X., Shin, H., & Burns, A. C. (2019). Examining the impact of luxury brand’s social media marketing on customer engagement: Using big data analytics and natural language processing. Journal of Business Research. doi:10.1016/j.jbusres.2019.04.042

Neiger, B.L., Thackeray, R., Van Wagenen, S.A., Hanson, C.L., West, J.H., Barnes, M.D., & Fagen, M.C. (2012). Use of social media in health promotion: purposes, Key performance indicators, and evaluation metrics. Health Promotion Practice, 159-164.

Poecze, F., Ebster, C., & Strauss, C. (2018). Social media metrics and sentiment analysis to evaluate the effectiveness of social media posts. Procedia Computer Science, 130, 660–666. doi:10.1016/j.procs.2018.04.117

Quiñonez, C. J. M., & Rodríguez, T. C. C. (2017). Redes sociales factor predominante en la fidelización del cliente. Dominio de la Ciencias, 3(4), 519-532.

Rathore, A. K., Ilavarasan, P. V., & Dwivedi, Y. K. (2016). Social media content and product co-creation: an emerging paradigm. Journal of Enterprise Information Management., 29(1), 7-18. doi:10.1108/jeim-06-2015-0047

Saura, J. R., Palos-Sánchez, P., & Cerdá Suárez, L. M. (2017). Understanding the Digital Marketing Environment with KPIs and Web Analytics. Future Internet, 9(4), 76. doi:10.3390/fi9040076

Sivarajah, U., Irani, Z., Gupta, S., & Mahroof, K. (2019). Role of big data and social media analytics for business to business sustainability: A participatory web context. Industrial Marketing Management. doi:10.1016/j.indmarman.2019.04.005

Spearman, C. (1904). The proof and measurement of association between two things. The American Journal of Psychology, 15(1), 72-101.

Tamrakar, C. B. (2016). Essays on social media and firm financial performance. University of Iowa, 2016 doi: https://doi.org/10.17077/etd.wuio6qmv.

Zhang, X., Fuehers, H., & Gloor, P. A. (2011). Predicting Stock Market Indicator Through Twitter. Procedia - Social and Behavioral Sciences, 26, 55-62.

Zhu, Y.-Q., & Chen, H.-G. (2015). Social media and human need satisfaction: Implications for social media marketing. Business Horizons, 58(3), 335–345. doi:10.1016/j.bushor.2015.01.006

Notas