Artículos

Generación de Texto Guía para la Detección Automatizada del Acoso y el Ciberacoso

Text Generation Guide for Automated Detection of Bullying and Cyberbullying

Orellana, Marcos; Zambrano-Martinez, Jorge Luis; Calle Andrade, Ronny Marcelo; Roldan, Amanda; Tirado Jarama, Andrés Nicolas

Marcos Orellana

marore@uazuay.edu.ec

Laboratorio de Investigación y Desarrollo en Informática (LIDI) Universidad del Azuay Ecuador

Jorge Luis Zambrano-Martinez

jorge.zambrano@uazuay.edu.ec

Laboratorio de Investigación y Desarrollo en Informática (LIDI) Universidad del Azuay Ecuador

Ronny Marcelo Calle Andrade

ronnycalle@e.s.uazuay.edu.ec

Laboratorio de Investigación y Desarrollo en Informática (LIDI) Universidad del Azuay Ecuador

Amanda Roldan

amy.3107@es.uazuay.edu.ec

Laboratorio de Investigación y Desarrollo en Informática (LIDI) Universidad del Azuay Ecuador

Andrés Nicolas Tirado Jarama

andresnicolas1231@es.uazuay.edu.ec

Laboratorio de Investigación y Desarrollo en Informática (LIDI) Universidad del Azuay Ecuador

Revista Tecnológica ESPOL - RTE

Escuela Superior Politécnica del Litoral, Ecuador

ISSN: 0257-1749

ISSN-e: 1390-3659

Periodicidad: Semestral

vol. 35, núm. 2, Esp., 2023

rte@espol.edu.ec

Recepción: 14 Julio 2023

Aprobación: 22 Agosto 2023

URL: http://portal.amelica.org/ameli/journal/844/84449318444931004/

License Creative Commons
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.

Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica

ePub generado a partir de XML JATS4R

Resumen: En la actualidad, el acoso entre los niños es un grave problema social e incluso actúa como uno de los principales problemas de la salud mental. Por lo tanto, se han detectado varios tipos de acoso, entre ellos están el acoso físico, verbal, social y el cibernético que utiliza la tecnología al alcance del agresor para difundir el daño y hacer que la víctima esté constantemente acosada. La inteligencia artificial y el acoso son temas ampliamente estudiados e investigados, pero regularmente no son utilizados de manera conjunta para llegar a mitigar la problemática del acoso. Con esto en mente, el propósito de esta investigación es identificar las palabras claves que son extraídas de diferentes medios audiovisuales cuyo tema principal es el acoso y el ciberacoso para crear campos semánticos correspondientes al texto extraído del video y generar un texto guía para la detección automatizada del acoso y el ciberacoso como apoyo a los profesionales.

Palabras clave: Acoso, Ciberacoso, Inteligencia artificial, OpenAI, YAKE.

Abstract: Currently, bullying among children is a serious social problem and even acts as one of the primary mental health problems. Therefore, various types of bullying have been detected, including physical, verbal, social, and cyberbullying, which uses technology within reach of the aggressor to broadcast the damage and make the victim constantly harassed. Artificial intelligence and bullying are widely studied and researched, but they are not regularly used together to mitigate the bullying problem. Nevertheless, this research aims to identify the keywords extracted from different audiovisual media whose central theme is bullying and cyberbullying to create semantic fields corresponding to the text extracted from the video and generate a guide for automated bullying detection as support for professionals.

Keywords: Bullying, Cyberbullying, Artificial intelligence, OpenAI, YAKE.

Introducción

El acoso o comúnmente conocido en la actualidad como “bullying” se ha convertido en uno de los temas que más preocupa a los padres de familia, educadores de las instituciones y psicólogos, debido a que se ha incrementado el acoso a las víctimas sin distinción de edad, género o nacionalidad, afectando tanto en el ámbito social como económico.

Las víctimas de acoso tienen mayor probabilidad de presentar dificultades con la interacción social en el entorno y ser internadas en centros de salud mental por experimentar problemas de ansiedad, depresión, ideación e intentos suicidas (Heikkilä et al., 2013; Lucas- Molina et al., 2022). Los jóvenes que acosan a otras personas demuestran conductas más inapropiadas que aquellos que son intimidados. Por lo tanto, varias investigaciones han estudiado el impacto de la intimidación que suelen presenciar los individuos o espectadores del acoso. Estos espectadores reportan un aumento de la ansiedad, la hostilidad, la depresión, la paranoia, y el aislamiento emocional (Zang et al., 2020; Alrajeh et al., 2021).

Es importante considerar que existen programas enfocados específicamente sobre la intimidación, en algunos países existen leyes para afrontar el acoso que ocurre en distintos sectores, en especial en las escuelas. Estas políticas guían las acciones e intervenciones dentro de la organización estudiantil referentes a la intimidación. Así, en un estudio realizado por Landstedt y Pearson (2014), en el que se invitó a participar a las escuelas secundarias con estudiantes de edades comprendidas entre 12 y 16 años, a realizar una encuesta con el objetivo de determinar el número de víctimas y victimarios. Los resultados determinaron que el 15.1% de los adolescentes fueron víctimas de acoso, el 17.2% informó haber recibido ciberacoso y el 19.6% de los encuestados sufrió tanto acoso como ciberacoso. Otro resultado importante es el acoso en la población femenina, ya que el 59.4% de las mujeres han recibido acoso por la imagen corporal, frente al 26.2% en los hombres.

En la actualidad, la fusión de investigaciones en varios campos, como la informática y las ciencias sociales, ayuda a analizar distintos problemas en la sociedad. Por ello, varios investigadores han comenzado a estudiar los distintos roles de intimidación en redes sociales, internet y correos electrónicos a través del uso de algoritmos de aprendizaje automático tal como lo mencionan (Akhter et al., 2018; Chatzakou et al., 2017; Chelmis et al., 2017; Dhungana Sainju et al., 2021; Nikiforos et al., 2020).

Con la ayuda de la inteligencia artificial es posible encontrar patrones de este tipo de comportamiento para llegar a mitigar y reducir el acoso de los atacantes a las víctimas. Por lo que en esta investigación se propone generar textos guías, a través de herramientas que utilizan técnicas de minería de texto aplicadas a transcripciones de videos-audios de calidad para la creación de material audiovisual que facilite la reducción del acoso y ciberacoso en la sociedad. Para lograr esta propuesta, es necesario desarrollar las siguientes etapas: i) Extracción del texto de los videos alojados en la plataforma YouTube que estén relacionados con el ciberacoso mediante interfaces de programación de aplicaciones (API) especializadas; ii) Extracción de palabras o frases que sean mayormente representativas de los textos extraídos; iii) Creación de campos semánticos para alimentar la API de OpenIA; y iv) Generación del guion con base a la combinación de las palabras o frases.

El artículo se estructura de la siguiente manera: los trabajos relacionados se presentan en la siguiente sección, luego es presentada la metodología utilizada en el trabajo, después se exponen los resultados y en la última sección se presentan las conclusiones y los trabajos futuros.

Trabajos Relacionados

Existen trabajos enfocados al estudio de las características del acoso y ciberacoso con la finalidad de generar modelos o herramientas para combatirlas. Los principales avances se refieren a la detección, clasificación y predicción del ciberacoso en plataformas en línea, como las redes sociales. A continuación, se exponen los estudios relacionados a la generación de herramientas y modelos utilizando varias fuentes de datos.

Dinakar et al. (2011) proponen una novedosa técnica para la detección del ciberacoso, que consiste en descomponer los textos en varios temas sensibles y generar subproblemas de clasificación. Construyeron un corpus por medio de la extracción de 4,500 comentarios de videos controversiales de YouTube para generar modelos de clasificación binarios y multiclases. Luego de comparar los modelos, los de clasificación binaria tuvieron una mayor exactitud que los multiclases, logrando una exactitud del 80%.

Por otra parte, Zhao et al. (2016) desarrollaron un marco de aprendizaje para la detección de ciberacoso en redes sociales, específicamente en Twitter. Para ello, definieron una lista de palabras ofensivas y la ampliaron a través de incrustaciones de palabras (Word Embeddings). Estos datos alimentaron un modelo de clasificación basado en una máquina de vector de soporte (SVM), logrando una precisión de 76.8%. Por otro lado, Singh et al. (2016) implementaron un marco de fusión de información probabilística que utilizó puntajes de confianza y factores referentes al ciberacoso. Utilizaron un subconjunto de datos etiquetado de 4,865 mensajes de Twitter sobre la tendencia a sufrir ciberacoso. Finalmente, generaron tres modelos, un clasificador basado en la mayoría o categoría principal denominado ZeroR, el método de fusión y su modelo de marco de fusión probabilística, este último demostró un 89% de exactitud.

Mahlangu et al. (2018) revisaron distintos métodos en cuanto a la detección automática de ciberacoso, y además, se identificaron algunos factores, categorías y fuentes de datos en internet. La mayor limitación que encontraron los investigadores corresponde a las escasas fuentes de datos provenientes de imágenes o videos, que pueden ser de utilidad para nuevos estudios en la detección de ciberacoso.

Uludasdemir y Kucuk (2019) realizan un estudio sobre la experiencia de los adolescentes con el ciberacoso y el nivel de conciencia de los padres sobre este problema. Por lo que identificaron que el uso del internet por parte de los adolescentes y el uso de las redes sociales presenta un alto índice de ciberacoso y ciber victimización experimentados por los adolecientes en un desconocimiento por parte de los padres sobre este problema.

Rezvani et al. (2020) presentan un método para orquestar los procesos, modelos y resultados en la detección inteligente del ciberacoso. El uso del método para orquestar les permitió maximizar el uso del contexto y aprovechar fuentes externas. Además, utilizaron un modelo de red de memoria a corto-largo plazo (LSTM) que fue alimentado mediante conjuntos de datos de Twitter e Instagram. Como resultado, el modelo presentado por los autores presenta una exactitud del 87%. De igual manera, Gada et al. (2021) presentan una arquitectura basada en redes neuronales convolucionales con redes de memoria a corto-largo plazo (LSTM-CNN) para la detección de ciberacoso. El modelo fue creado a partir de la extracción de textos de Twitter, además generaron un bot para la aplicación de Telegram que alerta al usuario al detectar la presencia de palabras ofensivas o groseras. El rendimiento del modelo fue evaluado a través del análisis de la curva característica operativa del receptor (ROC), dando una exactitud de 97%.

Otro enfoque para la detección de ciberacoso es descrito por Caicedo (2023), que desarrolla un método semisupervisado para detectar, clasificar y anotar textos extraídos de entornos digitales mediante un proceso de evaluación automática de su calidad para detectar y brindar apoyo especializado a usuarios de redes sociales que publican textos con contenido suicida.

Los trabajos mencionados describen algunas de las técnicas y modelos utilizados para la detección, predicción y ayuda para el ciberacoso a los profesionales en solucionar este problema social. Además, mencionaron las limitaciones existentes al afrontar estos problemas, por lo que no consiguen la información generada de otras fuentes multimedia, como los videos e imágenes. Sin embargo, no existen estudios que utilicen generadores de textos modernos en la creación de textos guía para videos que promuevan el combate contra el acoso y ciberacoso.

Materiales y Métodos

En esta investigación, la metodología para realizar la generación de guiones base obtenidos a través de la reproducción de videos con temáticas de acoso y ciberacoso, con la finalidad de prevenir y disminuir esta problemática a nivel escolar fue empleada utilizando las siguientes fases: i) Extracción del texto de diferentes videos relacionados con el acoso y ciberacoso, ii) extracción de las palabras más relevantes e importantes a través de la herramienta Yet Another Keyword Extractor (YAKE), iii) Construcción de los campos semánticos utilizando el generador de texto de OpenAI y iv) Generación del guion adecuado combinando palabras o frases para el acoso y ciberacoso.

Extracción del texto proveniente de videos seleccionados

Como fase inicial, se tuvo que realizar una búsqueda de los videos en la plataforma YouTube, seleccionando los primeros videos que presentó el algoritmo que utiliza la plataforma y alineados con la temática de este estudio. Luego, se elaboró una videoteca que contenía distintos elementos audiovisuales sobre el acoso y el ciberacoso conjuntamente con la duración y el código con el que se puede encontrar dichos elementos audiovisuales, como se puede apreciar en la Tabla 1.

Para la extracción del texto desde los videos seleccionados se utilizaron tres APIs, YouTube translate, Amberscript y Chequeabot. Estas aplicaciones extraen los textos del elemento audiovisual utilizando algoritmos e inteligencia artificial con una alta precisión para la creación de párrafos con sentido semántico, cuya finalidad es reducir el número de errores posibles al realizar la transcripción del video al texto en varios lenguajes y sus distintas pronunciaciones particulares de individuos de un mismo idioma.

Tabla 1

Videoteca sobre acoso y ciberacoso

NÚMERO VIDEO | TÍTULO | DURACIÓN | CÓDIGO
1 | “Cómo evitar el acoso escolar”. | 3 min 27 sec. | nTRZIMfprBI
2 | “Cómo actuar frente al acoso escolar. José Antonio Luengo, psicólogo y profesor”. | 4 min 51 sec. | 2Un_J3EhUqk
3 | “Cómo prevenir el bullying en el aula”. | 3 min 53 sec. | FHzAnNQBzA8
4 | “Cyberbullying: qué es y cómo prevenirlo”. | 1 min 59 sec. | zdJIsMbwU08
5 | “Cyberbullying - ¿Qué es y qué hacer?”. | 4 min 22 sec. | Gfsuj6wlg8Y
6 | “¿Qué es el Bullying?”. | 2 min 07 sec. | YGMpU35TwNY
7 | “Cyberbulling, Ciberacoso y depresión”. | 1 min 18 sec. | 3_e_M0ntZpM
8 | “Qué hacer contra el Bullying”. | 3 min 06 sec. | AwEqxDbTJu0

Sin embargo, los párrafos fueron minuciosamente revisados y supervisados al momento de la extracción por los expertos en temas de acoso y ciberacoso con la finalidad de disminuir las probabilidades de errores semánticos y errores de transcripción.

Extracción de palabras clave

Una vez obtenidos los textos transcritos de los videos, es necesaria la extracción de las palabras claves provenientes de los párrafos creados por los transcriptores. Por este motivo, se utilizó un método de extracción automática de palabras importantes basado en características estadísticas de texto extraídas de textos individuales sin ninguna supervisión para seleccionar las palabras claves más relevantes de un texto denominado YAKE (Campos et al., 2020). Además, esta herramienta no necesita de un entrenamiento previo con un conjunto particular de documentos, ni de diccionarios, o corpus externos (Campos et al., 2018). Con la herramienta YAKE se facilita la extracción de palabras clave que presentan un vínculo con el acoso y el ciberacoso, siendo las palabras de mayor relevancia y frecuencia. Para brindar una mejor interpretación de las palabras claves obtenidas de los videos, se desarrolló un resumen representado en la Tabla 2.

Además, como se observa en la Tabla 2, se obtuvo un puntaje de las palabras clave a través de la Ecuación 1 presentada por Campos et al. (2020):

Donde S(w) es el peso o la puntuación de la palabra y TF(kw) es la frecuencia de la palabra clave que se presenta en el texto analizado acorde a ecuaciones previas del trabajo de Campos et al. (2018). Esta ecuación nos indica cuáles palabras tienen un mayor significado semántico dentro del texto analizado acerca del tema de acoso y ciberacoso, para facilitar la creación de los campos semánticos.

Tabla 2

Matriz de las palabras usadas con mayor frecuencia y relevancia

NÚMERO VIDEO | POSICIÓN | PALABRAS | PUNTAJE | RELEVANTE
1 | 1 | acoso escolar | 0,02346838 | Si
2 | escuela | 0,051890499 | No
2 | acoso | 0,058818566 | Si
4 | sociedad | 0,07814722 | No
5 | maltrato | 0,081237283 | Si
… | … | … | … | …
8 | 1 | tus amigos recuerdan | 0,000132623 | No
2 | agresiones físicas seguramente | 0,000202302 | Si
3 | obtener ayuda profesional | 0,000202302 | No
4 | apodos insultos amenazas | 0,000242478 | Si
5 | hacerte sentir insignificante | 0,000242478 | Si

Como YAKE extrae las palabras claves basado en estadísticas, existen palabras repetidas, por lo que fue necesario aplicar una función de deduplicación de datos para la eliminación de duplicados exclusivos de los datos y reducirlos. Entre ellos se tiene distancia de Levenshtein, distancia de Jaro-Winkler . Sequence Matcher. Además, otros parámetros para la extracción de las palabras importantes fueron el máximo tamaño de n-gramas, el lenguaje del texto, el límite de la puntuación normalizada de la función de deduplicación, y el número máximo de palabras clave.

Construcción de los cuerpos semánticos

Esta fase corresponde a la creación de los campos semánticos una vez que se ha completado la extracción de las palabras clave. Para ello, se seleccionaron las palabras clave más relevantes a través de la evaluación de sus puntajes, tomando en cuenta que, a menor puntuación, mayor es la relevancia de la palabra dentro del texto. Adicionalmente, algunas palabras fueron filtradas por un experto en temas de acoso y ciberacoso, debido a que presentaban una baja relevancia en la construcción de los cuerpos semánticos.

Una vez que las palabras claves fueron seleccionadas, se utilizó el módulo generativo de texto de la compañía OpenAI. Esta empresa se caracteriza por promover y desarrollar productos relacionados con Inteligencia Artificial (IA) como transformadores pre-entrenados generativos (GPT).

Este módulo de OpenAI es capaz de generar textos a través de palabras o porciones de texto proporcionadas por el usuario. Además, existen varios modelos disponibles a diferentes precios y capacidades, siendo así Text-Davinci-003, el más sofisticado, preciso, costoso y basado en la familia GPT versión 3.5. Este modelo se especializa en tareas de lenguaje natural como la traducción y la generación textual. Además, se modificaron algunos de los parámetros más relevantes dentro del módulo de generación de textos, como la temperatura, el número máximo de tokens y el modo, la finalidad de estos parámetros se describe en la Tabla 3. También existen otros modelos con menor precisión, pero más rápidos y económicos, como Text-Curie-001 . Text-Babbage-001 (Efrat et al. 2022). Además de seleccionar el modelo Text-Davinci-003.

Tabla 3

Parámetros del módulo generativo de textos

PARAMETROS | DESCRIPCIÓN
Temperatura | Oscila entre 0 y 1, a medida que aumenta el valor, aumenta la creatividad de la respuesta.
Número de tokens | El máximo número de tokens a generar, entre 1 y 4000 tokens permitidos para el modelo Text-Davinci-003.
Modo | Especifica la tarea que va a realizar el modelo: completar, responder, agregar o editar texto.

En la Figura 1 se evidencian los cuerpos semánticos generados por el módulo de OpenAI que puede ser implementado mediante un lenguaje de programación a través de una API o a través de su plataforma en línea. Los cuerpos semánticos generados fueron evaluados por expertos en las temáticas de acoso y ciberacoso para verificar su contenido y consistencia.

Figura 1

Construcción de campos semánticos en el módulo de OpenAI

Generación del guion combinando frases o palabras extraídas

Una vez que las palabras claves y los cuerpos semánticos fueron validados por el experto, como fase final de la metodología realizada para este estudio, se generó el guion para el combate del acoso y ciberacoso a través de los cuerpos semánticos generados en la fase anterior. Para la generación del guion se desarrolló un script en el lenguaje de programación Python que concatena las palabras claves con sus correspondientes cuerpos semánticos a través de las APIs descritas anteriormente.

Resultados

En los resultados se encontró que, la relación entre el acoso o el ciberacoso, con la extracción de datos o variables para su posterior procesamiento aplicando IA son muy escasas. Sin embargo, se logra rescatar algunos documentos donde se evidencia esta relación, y esto brindó los indicios para la elaboración de esta investigación. Esto se debe a que la vida humana se está trasladando cada vez a lo virtual, presentando menos frecuencia de un acoso físico y la facilidad del mundo tecnológico para realizar acosos.

El resultado primordial en este estudio es la creación de un texto guía para la elaboración de un guion de video contra el acoso y el ciberacoso. Para lo cual, primero se realizó la selección de algunos videos que explican sobre el tema de acoso y ciberacoso, y luego fue transcrito el texto completo de los videos seleccionados con herramientas especializadas. Después, se extrajeron las palabras claves con un sistema basado en características para la extracción de las palabras claves plurilingües y seguidamente, la construcción de los cuerpos semánticos a través de las palabras o frases con mayor relevancia del texto.

Así pues, el algoritmo YAKE que extrae las palabras claves, requirió de parámetros como el idioma en español, el tamaño de las gramas de tres a cinco, con un algoritmo de deduplicación Sequence Meter de un límite igual a 0.9, y que presente las primeras 20 palabras obtenidas. Las palabras claves candidatas fueron mostradas con un peso o puntaje cuya mayor relevancia para el texto procesado es la menor posible, tal como se puede observar en la Figura 2.

Figura 2

Palabras claves extraídas de un texto transcrito de video

Asimismo, se tuvo la necesidad de realizar un filtrado por parte de expertos en el tema a las palabras claves que fueron extraídas de las transcripciones. Esto es debido a palabras o frases que no presentan una relevancia para la generación del texto guía como “sociedad”, “escolar”, “Cristina del barrio”, entre otros, que, aunque presenten un puntaje inferior marcado, no destacan para el estudio de esta investigación. Por ende, se redujo la cantidad de palabras importantes extraídas para la creación de los cuerpos semánticos y su posterior generación del texto guía.

No obstante, para la generación del guion para el combate del acoso y el ciberacoso se desarrolló un script en Python que permitió la agrupación correcta de las palabras clave con sus propios cuerpos semánticos. Sin embargo, al presentarse una gran cantidad de datos relacionados al acoso y ciberacoso en la creación de texto guía, se tuvo que refinar por los expertos para encaminar el contexto del guion y que esté centrado directamente en la prevención del acoso y ciberacoso. En la Figura 3, se puede observar el guion generado utilizando las palabras claves y los cuerpos semánticos obtenidos con anterioridad.

Figura 3

Generación del texto guía a través de los campos semánticos con OpenAI

Conclusiones

Para concluir, los avances en materia de inteligencia artificial han demostrado su capacidad para afrontar problemas y retos de la sociedad actual, brindando soluciones efectivas en diversos temas como el acoso y el ciberacoso. De acuerdo a estudios previos, son escasas las investigaciones que utilizan fuentes de datos provenientes de materiales audiovisuales; es así que en este trabajo se resaltó el uso de datos obtenidos a través de transcripciones de videos relacionados al acoso y ciberacoso. El guion generado en esta investigación pretende ser un apoyo para la creación de futuros guiones para combatir el acoso y el ciberacoso.

De este modo, se utilizó el módulo de generación de texto de la compañía OpenAI en la construcción de un guion de video para combatir el acoso y el ciberacoso, utilizando datos de videos relacionados a estas temáticas. Además, el uso de la herramienta YAKE simplificó los procesos más tradicionales de minería de textos, facilitando la extracción de palabras claves. No obstante, fue necesaria la intervención de expertos en el tema de acoso y ciberacoso para comprobar tanto las palabras claves como el guion generado, y evitar inconsistencias semánticas en el guion generado.

Como trabajos futuros, se pretende extraer más información de videos relacionados con el acoso y ciberacoso, generar más cuerpos semánticos y construir un corpus que pueda utilizarse en distintos modelos de aprendizaje automático y aprendizaje profundo. Y, finalmente, que dichos modelos puedan ser implementados en centros educativos para brindar apoyo a los profesionales, donde la presencia de acoso y ciberacoso es mayor

Reconocimientos

Los autores desean agradecer al Vicerrectorado de Investigaciones de la Universidad del Azuay por el apoyo financiero y académico, así como a todo el personal de la escuela de Ingeniería de Ciencias de la Computación, y el Laboratorio de Investigación y Desarrollo en Informática (LIDI).

Referencias

Alrajeh, S., Hassan, H., Al-Ahmed, A., y Alsayed Hassan, D. (2021). An investigation of the relationship between cyberbullying, cybervictimization and depression symptoms: A cross sectional study among university students in Qatar. PloS one, 16(12), e0260263.

Akhter, S., y others (2018). Social media bullying detection using machine learning on Bangla text. In 2018 10th International Conference on Electrical and Computer Engineering (ICECE) (pp. 385–388).

Caicedo, R. (2023). Metodo Semi-Supervisado para Detectar, Clasificar y Anotar en un Corpus de Suicidio Textos extraídos de Entornos Digitales. (Doctoral dissertation, Pontificia Universidad Catolica del Peru (Peru)).

Campos, R., Mangaravite, V., Pasquali, A., Jorge, A. M., Nunes, C., y Jatowt, A. (2018). YAKE! Collection- Independent Automatic Keyword Extractor (pp. 806-810). https://doi.org/10.1007/978-3-319-76941-7_80

Campos, R., Mangaravite, V., Pasquali, A., Jorge, A., Nunes, C., y Jatowt, A. (2020). YAKE! Keyword extraction from single documents using multiple local features. Information Sciences, 509, 257-289. https://doi. org/10.1016/j.ins.2019.09.013

Chatzakou, D., Kourtellis, N., Blackburn, J., De Cristofaro, E., Stringhini, G., y Vakali, A. (2017). Mean Birds. Proceedings of the 2017 ACM on Web Science Conference, 13-22. https://doi.org/10.1145/3091478.3091487

Chelmis, C., Zois, D.-S., y Yao, M. (2017). Mining Patterns of Cyberbullying on Twitter. 2017 IEEE International Conference on Data Mining Workshops (ICDMW), 126-133. https://doi.org/10.1109/ICDMW.2017.22

Dhungana Sainju, K., Mishra, N., Kuffour, A., y Young, L. (2021). Bullying discourse on Twitter: An examination of bully-related tweets using supervised machine learning. Computers in Human Behavior, 120, 106735. https://doi.org/10.1016/j.chb.2021.106735

Dinakar, K., Reichart, R., y Lieberman, H. (2011). Modeling the detection of textual cyberbullying. Proceedings of the International AAAI Conference on Web and Social Media, 5(3), 11-17.

Efrat, A., Honovich, O., & Levy, O. (2022). Lmentry: A language model benchmark of elementary language tasks. arXiv preprint arXiv:2211.02069.

Gada, M., Damania, K., y Sankhe, S. (2021). Cyberbullying detection using lstm-cnn architecture and its applications. 2021 International Conference on Computer Communication and Informatics (ICCCI), 1-6.

Heikkilä, H.-K., Väänänen, J., Helminen, M., Fröjd, S., Marttunen, M., y Kaltiala-Heino, R. (2013). Involvement in bullying and suicidal ideation in middle adolescence: a 2-year follow-up study. European Child y Adolescent Psychiatry, 22(2), 95-102. https://doi.org/10.1007/s00787-012-0327-0

Landstedt, E., y Persson, S. (2014). Bullying, cyberbullying, and mental health in young people. Scandinavian Journal of Public Health, 42(4), 393-399. https://doi.org/10.1177/1403494814525004

Lucas-Molina, B., Pérez-Albéniz, A., Solbes-Canales, I., Ortuño-Sierra, J., y Fonseca-Pedrero, E. (2022). Acoso escolar, ciberbullying y salud mental: el rol de la cohesion entre estudiantes como factor protector escolar. Psychosocial Intervention, 31(1), 33–41s

Mahlangu, T., Tu, C., y Owolawi, P. (2018). A review of automated detection methods for cyberbullying. 2018 International Conference on Intelligent and Innovative Computing Applications (ICONIC), 1-5.

Nikiforos, S., Tzanavaris, S., y Kermanidis, K.L. (2020). Virtual learning communities (VLCs) rethinking: influence on behavior modification—bullying detection through machine learning and natural language processing. Journal of Computers in Education, 7, 531–551.

Rezvani, N., Beheshti, A., y Tabebordbar, A. (2020). Linking textual and contextual features for intelligent cyberbullying detection in social media. Proceedings of the 18th International Conference on Advances in Mobile Computing y Multimedia, 3-10.

Rivers, I., Poteat, V. P., Noret, N., y Ashurst, N. (2009). Observing bullying at school: The mental health implications of witness status. School Psychology Quarterly, 24(4), 211-223. https://doi.org/10.1037/a0018164

Singh, V. K., Huang, Q., y Atrey, P. K. (2016). Cyberbullying detection using probabilistic socio-textual information fusion. 2016 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM), 884-887.

Uludasdemir, D., y Kucuk, S. (2019). Cyber bullying experiences of adolescents and parental awareness: Turkish example. Journal of pediatric nursing, 44, e84–e90.

Zhang, D., Huebner, E., y Tian, L. (2020). Longitudinal associations among neuroticism, depression, and cyberbullying in early adolescents. Computers in Human Behavior, 112, 106475.

Zhao, R., Zhou, A., y Mao, K. (2016). Automatic detection of cyberbullying on social networks based on bullying features. Proceedings of the 17th international conference on distributed computing and networking, 1-6.