Métodos sistemáticos de revisão de literatura científica: apontamentos para o desenvolvimento e publicação de pesquisas educacionais

Systematic methods of scientific literature review: notes for the development and publication of educational research

Métodos sistemáticos de revisión de literatura científica: apuntes para el desarrollo y publicación de investigaciones educativas

Coelho, Iandra Maria Weirich da Silva

Iandra Maria Weirich da Silva Coelho

iandrawcoelho@gmail.com.

Instituto Federal do Amazonas Brasil

Revista de Estudos e Pesquisas sobre Ensino Tecnológico

Instituto Federal de Educação, Ciência e Tecnologia do Amazonas, Brasil

ISSN-e: 2446-774X

Periodicidade: Frecuencia continua

vol. 9, e216523, 2023

educitec.revista@ifam.edu.br

Recepção: 02 Janeiro 2023

Aprovação: 06 Janeiro 2023

Publicado: 06 Janeiro 2023

URL: http://portal.amelica.org/ameli/journal/455/45545474554547005/

DOI: https://doi.org/10.31417/educitec.v9.2165

License Creative Commons
Este trabalho está sob uma Licença Internacional Creative Commons Atribuição 4.0.

Modelo de publicação sem fins lucrativos para preservar a natureza acadêmica e aberta da comunicação científica

ePub gerado a partir de XML JATS4R

Resumo: Neste estudo, são descritos dois tipos de pesquisa bibliográfica sistemática (revisão e mapeamento), com o objetivo de contribuir para o desenvolvimento, evolução e publicação de pesquisas educacionais. Para tanto, destacam-se as principais diferenças entre esses dois métodos e questões de pesquisa que vem sendo abordadas em estudos sistemáticos relacionados a diferentes áreas de conhecimento.

Palavras-chave: Revisão Sistemática Mapeamento Sistemático. Pesquisas educacionais. Periódicos Científicos..

Abstract: In this study, two types of systematic bibliographic research (review and mapping) are described, for the purpose of development, evolution and publication of educational research. To achieve this, the main differences between these two methods and research questions that have been presented in systematic studies related to different areas of knowledge are singled out.

Keywords: Systematic Review Systematic Mapping. Educational research. Scientific Journals..

Resumen: En este estudio se describen dos tipos de investigación bibliográfica sistemática (revisión y mapeo), con el objetivo de contribuir al desarrollo, evolución y publicación de investigaciones educativas. Para esto, se destacan las principales diferencias entre esos dos métodos y las preguntas de investigación que se han presentado en estudios sistemáticos relacionados con diferentes áreas del conocimiento.

Palabras clave: Revisión Sistemática Mapeo Sistemático. Investigaciones Educativas. Revistas Científicas..

Métodos sistemáticos de revisão de literatura científica: apontamentos para o desenvolvimento e publicação de pesquisas educacionais

Resumo

Neste estudo, são descritos dois tipos de pesquisa bibliográfica sistemática (revisão e mapeamento), com o objetivo de contribuir para o desenvolvimento, evolução e publicação de pesquisas educacionais. Para tanto, destacam-se as principais diferenças entre esses dois métodos e questões de pesquisa que vem sendo abordadas em estudos sistemáticos relacionados a diferentes áreas de conhecimento.

Palavras-chave: Revisão Sistemática. Mapeamento Sistemático. Pesquisas educacionais. Periódicos Científicos.

Abstract

In this study, two types of systematic bibliographic research (review and mapping) are described, for the purpose of development, evolution and publication of educational research. To achieve this, the main differences between these two methods and research questions that have been presented in systematic studies related to different areas of knowledge are singled out.

Keywords: Systematic Review. Systematic Mapping. Educational research. Scientific Journals.

Métodos sistemáticos de revisión de literatura científica: apuntes para el desarrollo y publicación de investigaciones educativas

Resumen

En este estudio se describen dos tipos de investigación bibliográfica sistemática (revisión y mapeo), con el objetivo de contribuir al desarrollo, evolución y publicación de investigaciones educativas. Para esto, se destacan las principales diferencias entre esos dos métodos y las preguntas de investigación que se han presentado en estudios sistemáticos relacionados con diferentes áreas del conocimiento.

Palabras clave: Revisión Sistemática. Mapeo Sistemático. Investigaciones Educativas. Revistas Científicas.

Considerações iniciais

A realização de um projeto de pesquisa empírico e posterior divulgação, especialmente, por meio das revistas científicas, exige alguns elementos considerados essenciais: uma pergunta de pesquisa clara, uma postura filosófica para entender os objetivos da pesquisa e selecionar uma metodologia apropriada, um método que permita elucidar os fenômenos que estão sendo estudados e auxiliar na identificação dos tipos de dados a serem coletados, assim como uma teoria que proporcione a explicação e interpretação dos dados, a fim de que se possa relacioná-los com a pergunta e com estudos anteriores na literatura (EASTERBROOK et al., 2008).

Entre esses elementos, destaca-se o método de pesquisa, em especial, neste estudo, os métodos sistemáticos de revisão de literatura científica que auxiliam os pesquisadores no levantamento do estado da arte, cujo encaminhamento exige identificação, coleta, seleção, avaliação dos resultados, análise e relatório de um conjunto de trabalhos sobre diferentes questões de pesquisa.

Dada a importância das revisões de literatura para a escrita de dissertações e teses, além dos manuscritos submetidos aos periódicos científicos, apresentam-se alguns apontamentos e reflexões sobre a necessidade de ampliar as orientações voltadas para a formação acadêmica, no sentido de contemplar pressupostos teórico-metodológicos referentes à utilização de revisão sistemática (RS) e de mapeamento sistemático (MS).

De maneira geral, nas áreas de Ensino e Educação, o levantamento teórico é realizado por meio de uma revisão narrativa, que não contempla procedimentos metodológicos definidos para seleção dos estudos, evidenciando um processo subjetivo, muitas vezes, suscetível ao viés do pesquisador. Além disso, esse tipo de revisão não permite a reprodutibilidade das pesquisas.

Vale ressaltar que muitos campos de pesquisa possuem metodologias específicas para a realização de estudos secundários e têm sido extensivamente usados, como por exemplo, na medicina baseada em evidências e na Engenharia de Software (KITCHENHAM; CHARTERS 2007; PETERSEN et al., 2008). Por outro lado, cada vez mais, pesquisadores têm utilizado métodos sistemáticos para identificar, comparar, analisar e sintetizar as evidências já identificadas em diferentes áreas do conhecimento no contexto educativo, o que justifica novos estudos que tenham por especificidade, o direcionamento metodológico para a utilização desses métodos na realização de pesquisas educacionais.

Considerando que a pesquisa educacional, de natureza interdisciplinar e multidisciplinar, pode assumir várias formas e abordagens, é relevante apresentar alguns apontamentos sobre os métodos sistemáticos de revisão da literatura, compreendendo a importância do uso de processos científicos rigorosos e bem definidos para a busca, coleta, análise e sumarização de evidências empíricas que podem ser utilizadas para apresentar uma visão geral da área estudada, expandir o corpo de conhecimento e melhorar as práticas de ensino, aprendizagem e de formação docente.

Com isso, espera-se que esta discussão possa contribuir com a qualidade de futuras publicações, levando em conta a relevância do uso do paradigma baseado em evidências para realização de estudos secundários no contexto educacional, “[...] como uma das possibilidades em prol da geração de pesquisas informadas, reprodutíveis e reutilizáveis” (COELHO, 2022, p. 21).

Dada o exposto, as questões de pesquisa deste estudo são: i) quais as principais diferenças entre o mapeamento sistemático e a revisão sistemática? e ii) quais questões de pesquisa estão sendo tratadas nos estudos de RS e MS, concernentes ao ensino e à formação docente, durante o período de 2018 a 2022?

Esta discussão tem por objetivo prover conhecimentos e reflexões, de forma didática, que podem ser úteis como referência para estudantes de pós-graduação e pesquisadores no desenvolvimento e publicação de pesquisas educacionais sistematizadas nos periódicos científicos.

Aporte teórico

A revisão da literatura permite ao pesquisador demonstrar sua capacidade analítica e sintética com relação aos trabalhos já publicados. Por meio deles, pode investigar como foram realizados, delimitar e analisar criticamente, identificar as linhas de pesquisa e temáticas a serem investigadas, justificar uma nova investigação, assim como integrar e generalizar descobertas, resultados e configurações.

Também inclui a capacidade de demonstrar seu conhecimento sobre um determinado campo de estudo subjacente a teorias, variáveis, fenômenos, métodos e história, assim como suas habilidades de pensamento crítico e resolução de ambiguidades no vocabulário e na literatura (RANDOLPH, 2009).

Essa revisão pode contar com métodos sistemáticos, com os quais os pesquisadores podem realizar o levantamento do estado da arte e escrever seus manuscritos para os periódicos científicos. Esses métodos visam a sintetizar, de forma relevante e reprodutível, os achados da literatura existente, permitindo ao estudante/pesquisador

evidenciar e aprofundar-se em diferentes aspectos relacionados à problemática de sua pesquisa, verificar a forma como o tema já foi tratado em estudos prévios, identificar os progressos alcançados por outros pesquisadores, observar as tendências de pesquisa sob o prisma cronológico, reconhecer lacunas, com as quais é possível desenvolver novas pesquisas, identificar contribuições e limitações existentes, com o intuito de verificar o que já foi superado e atualizar os conhecimentos sobre o objeto de estudo (COELHO, 2022, p. 13).

Nesse cenário, vale destacar que a qualidade de uma revisão depende do levantamento do estado da arte, construído a partir das evidências oriundas dos estudos primários, que são usados como base para estudos secundários e terciários (CABREJOS; VIANA; SANTOS, 2018). A necessidade de um estudo secundário é originada pelo objetivo do pesquisador. “Se conduzidos de forma sistemática, esses estudos podem ser replicados, permitindo a inclusão de novas publicações” (CABREJOS; VIANA; SANTOS, 2018, p. 21).

Entre os estudos secundários, seleciona-se para esta discussão, a RS e o MS. De maneira geral, são desenvolvidos de forma similar. Os procedimentos envolvem a especificação de um protocolo padrão de condução da pesquisa, a elaboração da(s) questão(ões) de pesquisa (principal e secundárias), definição das estratégias de busca, identificação dos critérios de inclusão e exclusão, seleção dos estudos, extração dos dados, avaliação da qualidade metodológica, assim como a análise e síntese dos resultados, sendo finalizado pela escrita do relatório/artigo científico (KITCHENHAM; CHARTERS 2007; PETERSEN et al., 2008; KUHRMANN; FERNÁNDEZ; DANEVA, 2017; CABREJOS; VIANA; SANTOS, 2018).

Esses dois tipos de investigação permitem selecionar, reunir, avaliar e sintetizar os resultados de pesquisas relevantes, com criticidade e transparência, a fim de fornecer uma visão geral. Por meio desses resultados, possibilitam-se novas conclusões baseadas em evidências e estimula-se a prospecção de estudos futuros, que podem contemplar as lacunas existentes e atender diferentes demandas educativas.

No processo de execução das revisões, é fundamental verificar a existência de outros estudos secundários sobre a temática. Em caso afirmativo, “deve-se avaliar se os mesmos respondem às questões de pesquisa estipuladas, ou se é necessário estendê-los ou, ainda, realizar novos estudos secundários” (CABREJOS; VIANA; SANTOS, 2018, p. 27). Com isso, ao ser identificada a necessidade de realização de um novo estudo, deve-se definir adequadamente o tipo de revisão, processo apontado por Cabrejos, Viana e Santos (2018) como um dos desafios na execução de estudos secundários.

Com o propósito de definir o estudo sistemático mais adequado à pesquisa (RS ou MS), devem ser analisados alguns elementos, a fim de compreender as principais diferenças, tendo em vista a similaridade no processo de execução entre a RS e o MS já mencionada. Entre as particularidades que os diferenciam, destacam-se, principalmente, a amplitude e a profundidade (KITCHENHAM; CHARTERS 2007). Para tanto, faz-se necessário, após a definição da(s) questão(ões) de pesquisa, verificar se o escopo e objetivo da revisão da literatura envolvem uma extração e análise de dados com menor ou maior profundidade.

Diante do exposto, seguem alguns aspectos a serem elucidados. A RS utiliza-se de um protocolo para a condução do levantamento do estado da arte, buscando minimizar erros sistemáticos e aleatórios (KITCHENHAM; CHARTERS 2007). Por meio desse tipo de estudo, é possível analisar os relatórios primários existentes, revisá-los em profundidade, descrever sua metodologia e resultados, além de sintetizar a literatura existente, de forma objetiva, sistemática e reprodutível (PETERSEN et al. 2008; KUHRMANN; FERNÁNDEZ; DANEVA, 2017).

Segundo Kuhrmann, Fernández e Daneva (2017, p. 2), “[...] é um meio de identificar, analisar e interpretar evidências relatadas referentes a um conjunto de questões de pesquisa específicas de uma forma imparcial e (até certo ponto) repetível”. Sendo assim, “[...] se o objetivo é realizar uma análise dos resultados obtidos nos estudos primários, agregá-los e compará-los, uma RSL será mais adequada” (CABREJOS; VIANA; SANTOS, 2018, p. 29).

O MS, também conhecido como estudo/revisão de escopo, por outro lado, consiste em reunir e categorizar uma grande quantidade de estudos da literatura, visando à identificação de contribuições e lacunas que justifiquem novas pesquisas (KITCHENHAM; CHARTERS 2007). Os estudos de mapeamento geralmente cobrem uma gama mais ampla de publicações já que a análise se concentra nos principais termos e resumos (KUHRMANN; FERNÁNDEZ; DANEVA, 2017). Visam a “[...] caracterizar o estado da arte, independentemente dos resultados obtidos nos estudos primários analisados” (CABREJOS; VIANA; SANTOS, 2018, p. 29).

É aplicado com o objetivo de construir um esquema de classificação e estrutura do conhecimento de um determinado campo de interesse (PETERSEN et al., 2008; KUHRMANN; FERNÁNDEZ; DANEVA, 2017). Utiliza-se quando não é necessário responder com profundidade questões específicas, sendo projetado para fornecer uma ampla visão geral de uma determinada área de pesquisa. Além disso, um estudo de MS pode ser um exercício mais apropriado do que a RS, principalmente, para áreas com poucas evidências disponíveis na literatura científica, falta de estudos primários relevantes e de alta qualidade ou ainda, cujos tópicos sejam muito vastos (KITCHENHAM; CHARTERS, 2007).

De maneira geral, ao coletar sistematicamente o conhecimento relatado em uma determinada área de interesse, faz-se necessário utilizar-se de estudos de mapeamento, que podem ser feitos de forma ampla, quantificando determinados aspectos, ou aprofundados, geralmente no âmbito de RS, a fim de promover uma análise das publicações, considerando o nível de detalhe e o tipo de dados (quantitativo ou qualitativo) (KUHRMANN; FERNÁNDEZ; DANEVA, 2017).

Vale ainda ressaltar, nesta discussão, a importância da elaboração das perguntas. Considerando que os estudos primários são os sujeitos/fenômenos de investigação (unidades de análise) que podem ser observados, a partir de diferentes problemáticas, tanto na RS como no MS, a escolha do método vai depender das questões de pesquisa.

Nessa perspectiva, “um dos primeiros passos na escolha de um método de pesquisa apropriado é esclarecer a pergunta” (EASTERBROOK et al. , 2008, p. 2), tendo em vista que a questão leva a direções diferentes no desenvolvimento de estratégias de pesquisa, a fim de obter-se uma compreensão mais clara do fenômeno, a explicação de sua ocorrência e a possibilidade de que previsões sejam feitas.

Sendo assim, destaca-se no Quadro 1, algumas das principais perguntas que podem ser elaboradas para os estudos. Entre essas questões, as principais são do tipo exploratórias e causais. As questões exploratórias buscam tentar entender os fenômenos, cujos métodos de pesquisa “[...] tendem a ser aqueles que oferecem dados ricos e qualitativos, que nos ajudam a construir teorias provisórias” (EASTERBROOK et al., 2008, p. 3). Por outro lado, as causais, buscam identificar relações causais suportadas pelas evidências encontradas, descrever e classificar a literatura existente sobre determinado tema de pesquisa.

Quadro 1. Perguntas de pesquisa e exemplos

Quadro 1. Perguntas de pesquisa e exemplos

Tipos de Perguntas
Exemplos

Exploratórias: entendimento das características do fenômeno
a. De existência: “do tipo “X existe??”; b. Descritivas e classificatórias: “Como é X?", "Quais são suas propriedades?”, “Como pode ser categorizado?”, “Como podemos medi-lo?”, “Qual é o seu propósito?”, “Quais são seus componentes?”, “Como os componentes se relacionam entre si?”; c. Descritivas-comparativas: “Como X difere de Y?”.

Causais: identificação de causa e efeito
a. Causalidade da forma: “X causa Y?”, “X impede Y?”, “O que causa Y?”, “Quais são todos os fatores que causam Y?”, “Que efeito X tem sobre Y?”; b. Comparativas de causalidade: “Será que X causa mais Y do que Z?”, “X é melhor na prevenção de Y do que Z?”; c. Interação comparativa de causalidade: “X ou Z causa mais Y em uma condição, mas não em outras?”

Adaptado de Easterbrook et al. (2008)

Fonte: Adaptado de Easterbrook et al. (2008)

Independente dos objetivos e objeto de pesquisa, Kuhrmann, Fernández e Daneva (2017) também apontam a relevância de algumas questões gerais de pesquisa que podem ser respondidas em todos os estudos de literatura, pois auxiliam na apresentação de uma visão geral do espaço de publicação. Os autores resumem algumas dessas questões genéricas de pesquisa que são apresentadas na Figura 1.

Figura 1. Questões gerais de pesquisa

Figura 1. Questões gerais de pesquisa

Adaptado de Kuhrmann, Fernández e Daneva (2017, p.5)

Fonte: Adaptado de Kuhrmann, Fernández e Daneva (2017, p.5)

Essas questões abordam aspectos descritivos gerais. Visam a traçar uma visão geral e demográfica do estudo (número de publicações ao longo do tempo, sobre quais tópicos, qual período), cujos resultados permitem delinear o estado atual de um campo de conhecimento, fornecer informações sobre quantidade e frequência de publicação sobre determinado tópico, além de contribuir para melhor compreensão dos estudos disponíveis no campo sob investigação, retratar tendências de publicação de um determinado domínio emergente ou em amadurecimento (KUHRMANN, FERNÁNDEZ; DANEVA, 2017).

Em resumo, essas perguntas de pesquisa também ajudam a definir o escopo do estudo, adequar as questões de pesquisa e ajustá-las, se necessário, bem como preparar os procedimentos de coleta e seleção de acordo com os objetivos do estudo (KUHRMANN, FERNÁNDEZ; DANEVA, 2017).

Dado o exposto, após a seção dos encaminhamentos metodológicos apresentam-se os resultados referentes às principais diferenças entre RS e MS, com base em posicionamentos teóricos que podem elucidar tais aspectos, assim como as principais questões oriundas do corpus deste estudo.

Metodologia

Este estudo se classifica como uma pesquisa exploratória, de cunho qualitativo. Entre os procedimentos metodológicos adotados, destaca-se o uso de uma metodologia protocolizada, parcialmente sistemática, que envolveu cinco fases: 1) identificação do problema; 2) seleção e emprego de estratégias de pesquisa; 3) compilação de um corpus; 4) exploração e análise dos dados; e 5) identificação dos resultados (COELHO, 2022).

Para isso, foi adotado um percurso metodológico que busca associar a coleta, armazenamento e análise de dados “[...] atrelado à melhora da visualização e maior processamento permitido pelo uso de softwares e técnicas que possibilitam a análise de uma grande quantidade de dados” (COELHO, 2022, p. 12).

A busca foi realizada no Google Acadêmico. O processo de recuperação dos trabalhos foi realizado tendo em conta os descritores que compõem o escopo deste estudo (revisão sistemática, mapeamento sistemático, ensino e formação de professores). Após a realização de um conjunto de testes para avaliar a adequação da string de busca, considerou-se duas expressões apropriadas: i) (“revisão sistemática” OR “mapeamento sistemático”) AND "Ensino", ii) (“revisão sistemática” OR “mapeamento sistemático”) AND "formação de professores".

Foram identificados, primeiramente, cento e noventa e sete (197) estudos secundários, de diferentes áreas do conhecimento, disponibilizados em veículos de publicação brasileiros (artigos e trabalhos publicados em anais), dos quais foram selecionados quarenta e dois (42) para compor o corpus de análise.

Os estudos foram selecionados, a partir de três critérios de inclusão: a) contemplam RS e MS; b) fazem referência ao ensino e à formação de professores (linhas temáticas da Revista Educitec); c) foram publicados durante o período de 2018 a 2022. Vale ressaltar que a seleção final do corpus para análise priorizou o conteúdo (diversidade de categorias e amplitude das questões).

A coleta de dados foi efetivada com a organização de informações extraídas dos estudos secundários recuperados, dos quais foram selecionadas as questões de pesquisa. A operacionalidade da análise envolveu a pré-exploração do material, leitura, seleção dos documentos, constituição do corpus, recuperação e filtro da literatura, com revisão dos títulos, resumos e organização de uma matriz de conteúdo para posterior análise. Esse processo foi auxiliado pelo uso do software Sphinx iQ2, sendo passível de reprodução e reuso em futuras investigações.

Evidenciando resultados

No Quadro 2, apresentam-se as principais diferenças entre MS e RS, tomando como base os pressupostos teórico-metodológicos de Kitchenham e Charters (2007), Petersen et al. (2008), Kuhrmann, Fernández e Daneva (2017), Klock (2018) e Cabrejos, Viana e Santos (2018).

Quadro 2. Principais diferenças entre MS e RS

Principais diferenças entre MS e RS

Aspectos
MS
RS

Escopo
Abrangência
Profundidade

Objetivo Principal
Classificar e fornecer uma visão geral, por meio da estruturação de um campo de interesse de forma mais ampla, geralmente quantificada.
Estabelecer o estado da evidência, mostrando onde faltam evidências específicas ou são insuficientemente relatadas nos estudos existentes.

Amplitude e profundidade
Cobre uma gama mais ampla de publicações. Mais artigos podem ser considerados, pois não precisam ser avaliados com tantos detalhes. Exige menos profundidade quanto aos resultados e à avaliação da qualidade.
Cobre uma gama menor e mais específica de publicações. Promove uma análise das evidências em profundidade. O resultado e a avaliação da qualidade dos artigos são o foco principal, aumentando a profundidade e o esforço necessário.

Questões de Pesquisa
Genéricas (orientam e costumam apresentar várias perguntas de pesquisa do tipo exploratórias -entendimento das características do fenômeno)
Específicas (normalmente, é conduzida a partir de uma questão de pesquisa ou a inclusão de questões do tipo causais – identificação de causa e efeito).

Termos de pesquisa
São menos focados e geralmente retornam um grande número de estudos.
Foco restrito.

Avaliação da qualidade
Pode ser opcional, uma vez que muitos dos critérios de qualidade envolvem extração mais profunda de dados. Não são avaliados quanto à sua qualidade, pois o objetivo principal é estabelecer o estado de evidência.
Avaliação detalhada da qualidade metodológica. Inclui critérios de qualidade mais rigorosos (perguntas sobre aspectos metodológicos dos estudos primários selecionados que permitem analisá-los com maior detalhamento).

Análise dos resultados e síntese
Apresentação dos principais termos e resumos das publicações. Foco na categorização dos estudos encontrados. Ênfase na síntese dos resultados encontrados e apresentação das frequências de publicações para cada categoria. Uso de representações gráficas das distribuições dos estudos por tipo de classificação. Inclusão de comparações dos resultados de estudos primários. Uso optativo da análise temática, um método que fornece um resumo visual e auxilia na identificação das categorias em termos de número de publicações. Caracterização de uma determinada área do conhecimento, identificando todos os resultados sem a necessidade de fazer um comparativo entre os mesmos.
Ênfase nos detalhes das contribuições publicadas e análise sistemática de evidências. Inclusão de técnicas de análise em profundidade, como meta-análise e síntese narrativa que foca na revisão qualitativa e explicações narrativas. Caracterização de uma determinada área do conhecimento, por meio da identificação e comparação dos resultados de estudos primários.

Elaboração própria.

Fonte: Elaboração própria.

De maneira geral, a RS e o MS são diferentes em termos de objetivo, amplitude, profundidade, escopo e análise dos resultados, aspectos que geram diferentes implicações e devem ser observados na escolha do método sistemático e na elaboração das questões de pesquisa. Para direcionar os estudos de MS ou RS, outros elementos devem ser considerados, tais como as perguntas sobre a contribuição do conjunto de resultados, tendo em vista o critério da amplitude e profundidade, para que possa ser avaliada a maturidade científica do campo de investigação.

Para Kuhrmann, Fernández e Daneva (2017), esse nível de maturidade não deve fazer referência apenas às soluções propostas, mas também aos trabalhos de pesquisa de validação e avaliação, cujos dados evidenciam os diferentes tipos de contribuição e ressaltam modelos, teorias, ou estruturas ou lições aprendidas.

A fase de planejamento da pesquisa, portanto, envolve a configuração do desenho do estudo que inclui, entre outras etapas, a definição das questões de pesquisa apropriadas (primária/principal ou secundárias). A primária “[...] define o tópico de pesquisa que está sendo investigado. Já as questões secundárias podem ser uma ou mais questões que definem características específicas do tópico investigado” (CABREJOS; VIANA; SANTOS, 2018, p. 30).

Muitas dessas questões geram resultados que podem contribuir para “[...] auxiliar pesquisadores a propor novas tecnologias e a comparar com as existentes”, assim como, “identificar oportunidades de melhoria no processo de pesquisa nacional” (SILVA et al., 2021, p. 158). Os resultados também podem “[...] ajudar responsáveis por programas de formação continuada a selecionar, desenvolver ou melhorar programas, bem como orientar desenvolvedores de currículos” (ALMEIDA; ALMEIDA; ARAUJO, 2021, p. 2).

Considerando a importância dessas questões, no Quadro 3, destacam-se diferentes perguntas de pesquisa, oriundas dos estudos utilizados (MS e RS)[1].

Quadro 3: Questões de pesquisa dos estudos sistemáticos selecionados

Questões de pesquisa | Estudos
Mapeamento Sistemático
Que conteúdos/ tópicos educacionais estão sendo abordados nos estudos? | E11, E14, E21, E32, E33, E38
Quais as ferramentas (mais promissoras) utilizadas no ensino/desenvolvimento de “X”? | E01, E28, E39, E40
Quais metodologias (ativas) têm sido propostas/adotadas para o ensino de “X”? | E05, E17, E18, E22
Quais estratégias estão sendo adotadas para o ensino-aprendizagem de “X”? | E14, E36, E38
Quais limitações foram encontradas? | E39, E42
Quais métodos/tipos de avaliação de aprendizagem estão sendo utilizadas no ensino de “X” | E11, E14, E40
Em quais etapas da educação formal os estudos se concentram? | E14, E38, E39, E40
O que tem sido publicado/discutido na literatura científica sobre o uso de “X” como suporte à formação docente? | E08, E15, E26
Quais tecnologias digitais foram reportadas na literatura para o ensino/desenvolvimento/ letramento de “X”? | E18, E34, E41,
Quais as evidências de eficácia na adoção das tecnologias digitais para o desenvolvimento de “X”? | E34, E41
Quais são os principais resultados apresentados pelos artigos selecionados? | E22, E28
Qual a distribuição dos artigos selecionados por base de dados a cada ano? | E01, E42
Os estudos desenvolvidos suportam quais tipos de Tecnologia Assistiva? | E32, E39
Quais abordagens pedagógicas estão sendo utilizadas nos estudos? | E32, E36
Quais são os principais impactos do uso de “X” no ensino de “Y”? | E03, E42
Em sua concepção, as metodologias buscam o desenvolvimento de “X”? | E17
As metodologias propostas são baseadas em alguma teoria de aprendizagem? Quais? | E17
Quais concepções e/ou teorias pedagógicas estão sendo utilizadas nos estudos? | E32
Como está sendo realizada a avaliação dos estudos? | E32
O que está sendo proposto para o ensino de “X”? | E39
Quais as técnicas de coleta e análise de dados utilizadas nos estudos? | E39
Quais benefícios estão sendo relatados pelo uso de “X”? | E39
Quais competências e habilidades de “X” estão sendo desenvolvidas? | E14
Quais estratégias de investigação estão sendo empregadas para avaliação dos resultados? | E38
Qual tipo de escola o estudo é realizado? | E41
Quais os dispositivos mais usados nas pesquisas? | E09
Quais são as instituições dos pesquisadores? | E01
Em quais países os estudos se concentram? | E40
Quais teorias e abordagens de aprendizagem foram aliadas à “X”? | E42
Quais foram as técnicas utilizadas para incorporar “X” no ensino de “Y”? | E42
Como “X” tem auxiliado no processo de ensino e aprendizagem de “Y”?” | E30
Qual o panorama atual das pesquisas sobre o uso de “X” para o desenvolvimento de “Y” no ensino? | E41
Quais áreas de “X” possuem pesquisas sobre o ensino e aprendizagem de “Y”? | E11
Em quais áreas a aplicação de “X” é predominante? | E22
Quais são os tipos de soluções propostas (software/hardware/teóricas)? | E11
Quais estudos abordam múltiplas línguas de sinais? Quais tecnologias foram usadas? | E11
Quais elementos de teste de software são considerados em disciplinas de “X”? | E12
Existem trabalhos que utilizam o aplicativo “X” em salas de aula? | E22
Quais tecnologias estão disponíveis para o ensino de “X” com RA? | E30
O que vem sendo discutido sobre a utilização de TDICs no ensino de “X”? | E19
Como/em que contexto as tecnologias digitais foram adotadas? | E34
Quais dificuldades têm sido apontadas pelos pesquisadores? E como elas foram identificadas? | E01
Quais os efeitos emocionais observados com a introdução de atividades que envolvem “X”? | E21
Quais atividades educacionais no ensino de “X” foram gamificadas? | E42
Como a resolução de problemas é tratada com conceitos, atividades e técnicas de teste em disciplinas de “X”? | E12
Quais são os produtos educacionais que versam sobre o uso de “X” no ensino de “Y” nos Programas de Mestrado Profissional? | E21
Quais são os formatos dos produtos educacionais? | E21
Os produtos foram desenvolvidos e/ou analisados seguindo quais teorias de aprendizagem? | E21
Como os produtos educacionais podem ser acessados? | E21
São mencionadas as ameaças à validade e também como essas ameaças afetam os resultados e conclusões? | E41
Quais as principais conclusões reportadas relativas à aplicação de “X” para formação dos professores? | E01
Quais propostas de integração do plano de aula dos professores com “X” nos anos iniciais do Ensino Fundamental têm sido realizadas? | E19
Quais modelos de formação dos professores têm sido estudados para se tratar a integração de “X” na sala de aula? | E19
Revisão Sistemática
Quais vantagens/contribuições/melhorias relatadas ao utilizar/aplicar “X”? | E02, E04, E24, E35, E37
Quais as desvantagens/dificuldades encontradas? | E02, E04, E24, E35, E37
Em qual nível de ensino/grau de escolaridade estão situados os estudos? | E04, E22, E29
De que forma “X” tem sido incluído nos processos de ensino aprendizagem? | E23, E35, E37
Quais métodos/técnicas/estratégias têm sido utilizadas para ensino de “X”? | E13, E20, E37
Quais tecnologias são mencionadas/definidas/utilizadas nas publicações? | E02, E10
De que forma as tecnologias móveis têm sido utilizadas em contexto educativo? | E24
Quais são as tecnologias que estão sendo utilizadas para auxiliar os processos de ensino e de aprendizagem de “X”? | E33
Em qual problemática a tecnologia foi utilizada? | E02
Quais são os problemas abordados na aprendizagem de “X” pelos trabalhos? | E13
De que forma “X” relaciona com processos de personalização da aprendizagem? | E06
Quais são os métodos e recursos usados em “X”? | E06
Quais são os benefícios/desafios do uso de “X”? | E06
Quais assuntos estão relacionados com “X” e personalização de aprendizagem? | E06
Quais elementos de “X” são mais utilizados na plataforma “Y”? | E03
Quais os conteúdos são abordados nos trabalhos encontrados? | E10
Quais são os conteúdos de “X” que estão sendo ensinados por meio das tecnologias digitais? | E33
Como as rubricas são usadas em pesquisas empíricas e científicas na aprendizagem de “X”? | E07
Que tipo de rubricas são usadas na aprendizagem de “X”? | E07
Quais as definições de “X” identificadas na literatura? | E29
Qual o propósito dos trabalhos de ensino de “X” desenvolvidos em AVAs com auxílio de “Y”? | E18
Quais são as abordagens dos estudos para o ensino-aprendizagem de “X”? | E04
Quais técnicas pedagógicas (metodologias, estratégias, abordagens) de aprendizagem ativa têm sido aplicadas no contexto de ensino de “X”? | E04
Qual a tendência dos estudos em relação aos termos e palavras-chave utilizados sobre a aplicabilidade de “X”? | E27
Como se configura o mapeamento da aplicabilidade de “X” no contexto educacional no Brasil? | E27
Como se deu a evolução histórica das publicações? | E02
Quais são as categorias de pesquisa realizadas? | E02
Quais são as instituições envolvidas na área? | E02
Quais são as perspectivas de trabalhos futuros? | E02
Quais são as tendências em “X” para a inclusão de surdos na educação? | E02
Qual é a quantidade de artigos que envolvem o desenvolvimento e/ou a utilização de “X” para o auxílio de surdos na Educação? | E02
Quais disciplinas utilizam “X” como apoio pedagógico? | E37
Como são utilizados os jogos digitais no ensino de “X”?” | E31
Qual a percepção dos participantes (usuários) em relação ao uso de “X” no ensino de “Y”? | E35
Quais laboratórios virtuais estão sendo utilizados para trabalhar o ensino de “X”? | E35
“X” está presente na formação inicial e continuada de professores? | E09
De que forma “X” está sendo trabalhada na formação inicial e continuada de professores? | E09
Quais as perspectivas e caminhos de investigação adotados? | E15
Quais são as tendências temáticas, teóricas e metodológicas da produção científica publicada sobre formação de professores? | E16
Quais as possíveis estratégias para tornar o professor melhor preparado? | E24
O que ainda falta ser explorado? | E24
Quais arquiteturas pedagógicas ou tecnologias vêm sendo utilizadas para apoiar o ensino de “X” para educandos com Transtorno do Espectro Autista e Deficiência Intelectual? | E25

Elaboração própria.

Fonte: Elaboração própria.

As questões fazem referência a diferentes focos temáticos: ensino, aprendizagem e avaliação de conteúdos, contextos metodológicos, ferramentas para aprendizagem, métodos, atividades, abordagens, impactos, técnicas, limitações, contribuições, tipos de estudos, público-alvo, percepções, teorias, práticas recomendadas e típicas, classificação, categorias, desenvolvimento de software educacional, cultura maker na educação, desenvolvimento de habilidades socioemocionais, Google Classroom como ferramenta para o ensino, produtos educacionais, uso da realidade aumentada como ferramenta pedagógica, jogos, estratégias pedagógicas utilizadas como mediadoras para o ensino, ambientes virtuais de aprendizagem, componentes curriculares, nível e modalidade de implementação das propostas educativas, vinculação institucional, regiões que mais publicam sobre o tema, inserção de tecnologias nas aulas e dificuldades apontadas pelos pesquisadores, além de estudos sobre formação docente, contemplando a integração das tecnologias digitais, conteúdos relacionados à educação ambiental, o uso de jogos eletrônicos etc. Somam-se a esses, tecnologias educacionais acessíveis para apoiar o ensino de diferentes conteúdos a estudantes com transtorno do espectro autista, deficiência intelectual e deficiência auditiva.

Com a análise, é possível perceber um aumento significativo no quantitativo de estudos sistemáticos nos últimos anos no Brasil, sendo utilizados em diversas áreas do conhecimento, especialmente, voltados para a área de Ciência da Computação e Engenharia de Software. As temáticas envolvem, principalmente, ensino de programação e desenvolvimento do pensamento computacional atrelados a diferentes disciplinas, do ensino básico à pós-graduação.

Os tópicos evidenciados, tanto para o contexto de sala de aula como para o processo de formação docente, possibilitam contribuir para a análise das publicações prévias, comparação, identificação de tendências, recorrências, lacunas, contraste e sumarização das evidências existentes sobre um determinado tópico. Somam-se a esses, outros benefícios, tais como a articulação dos saberes existentes sobre a temática e possibilidades para ações e pesquisas futuras, em busca de evidências confiáveis sobre potenciais contribuições e limitações da aplicação de estratégias, metodologias, ferramentas e tecnologias digitais (inclusivas).

Tais evidências podem fomentar um suporte empírico para análise dos fenômenos educacionais, elucidar as questões mais importantes relacionadas à tomada de decisões referentes à aprendizagem e à formação docente, assim como gerar implicações para o progresso da pesquisa e divulgação científica.

Com o objetivo de fomentar esse progresso, destaca-se também a relevância da etapa referente à tessitura da composição do relatório, comumente, escrito em formato de artigo científico, para submissão e possível publicação. De maneira geral, alguns aspectos podem ser observados na escrita de uma RS ou MS: i) motivação e justificativa para a execução do estudo; ii) apresentação da(s) questão(ões) de pesquisa; iii) apresentação suscinta de trabalhos correlatos (momento em que se enfatiza a necessidade de executar uma investigação sobre a temática, tendo sido considerada a pesquisa de revisões existentes); iv) referência ao protocolo de pesquisa utilizado e demais etapas relacionadas ao método sistemático; e v) visão geral dos estudos e resultados, por meio da análise e síntese.

Considerando a Revista Educitec e seu escopo na área do Ensino, vale ressaltar a importância em elucidar as principais contribuições, limitações e/ou lacunas de pesquisa encontradas, que podem ser úteis para o avanço da ciência e para a melhoria das práticas de ensino-aprendizagem, em diferentes áreas do conhecimento.

Sendo assim, no intuito de auxiliar os possíveis autores, destacam-se algumas questões que podem contribuir para a avaliação da qualidade dos estudos sistemáticos (Figura 2).

Figura 2. Questões para avaliação da qualidade de estudos sistemáticos

Questões para avaliação da qualidade de estudos sistemáticos

Adaptado de Costa et al. (2014, p. 2448-9)

Fonte: Adaptado de Costa et al. (2014, p. 2448-9)

Esse conjunto de itens pode ser tomado como um cheklist que pode auxiliar pesquisador/autor na (auto)avaliação de seu manuscrito, antes do envio para um periódico cientifico. Os aspectos evidenciados buscam garantir uma boa qualidade metodológica para posterior publicação, podendo colaborar “[...] tanto com editores quanto com autores, a fim de se desenvolver trabalhos mais completos e robustos” (COSTA et al., 2014, p. 2451).

Antes de finalizar essa seção, vale destacar que não se pretendeu avaliar a nomenclatura dos trabalhos que fazem parte do corpus ou se as questões de pesquisa foram devidamente construídas, levando em conta a classificação e os pressupostos teórico-metodológicos aqui adotados. Tais aspectos podem ser tomados em futuras pesquisas terciárias.

Por outro lado, buscou-se fornecer ao leitor uma noção geral que contempla as principais diferenças entre os dois métodos (MS/RS) e as questões que podem ser utilizadas, visando a auxiliar estudantes e pesquisadores na condução das pesquisas, especialmente, para a construção e submissão do relatório/artigo em periódicos científicos.

Considerações finais

Neste estudo, problematizou-se o uso de métodos sistemáticos de revisão de literatura científica, no âmbito educacional, contemplando as principais diferenças entre mapeamento e revisão, bem como as questões de pesquisa subjacentes ao processo de ensino e formação docente, no período de 2018 a 2022.

Os apontamentos aqui elucidados, referentes à escolha do método sistemático e à construção das questões, podem ser úteis ao desenvolvimento de pesquisas realizadas por estudantes da pós-graduação, especialmente, de doutorado, tendo em vista os benefícios significativos para produção de uma tese de alta qualidade e, ao mesmo tempo, para a produção “[...] de um artigo pronto para submissão a uma revista antes que o resto da tese seja concluída” (OKOLI, 2019, p.33-4).

Também ganharam especial atenção algumas reflexões a respeito da importância do levantamento sistemático no contexto educativo, tendo em vista a necessidade de ampliar a identificação e coleta de evidências científicas nesse campo de atuação, que podem ser utilizadas na concepção e implementação de processos e produtos educacionais.

A partir desse panorama, torna-se necessário refletir também sobre a exigência de mudança de paradigma em como as pesquisas na área educacional podem ser realizadas, buscando contemplar a adoção de uma abordagem baseada em evidências para realização do levantamento do estado da arte, que pode ser conduzido com o auxílio de métodos sistemáticos, do tipo RS e MS.

Soma-se a isso, a emergência em ampliar as condições de formação, especialmente, nos cursos de pós-graduação, com orientações teórico-práticas para o uso de métodos sistemáticos e publicação dos resultados de pesquisa. Esse processo formativo pode contribuir para o reconhecimento, compreensão e tomada de decisão sobre possíveis práticas pedagógicas a serem implementadas, tendo em vista a eficácia dos resultados na aprendizagem, considerando tecnologias, teorias, ferramentas, métodos, estratégias, produtos e metodologias educacionais.

Referências

CABREJOS, L. J. E. R.; VIANA, D.; SANTOS, R. P. Planejamento e execução de estudos secundários em informática na educação: Um guia prático baseado em experiências. In: VII JORNADA DE ATUALIZAÇÃO EM INFORMÁTICA NA EDUCAÇÃO. Anais [...]. Fortaleza, 2018. Disponível em: http://ojs.sector3.com.br/index.php/pie/article/view/7858/6029. Acesso em: 20 nov. 2022.

COELHO, I. M. W. S. Desenvolvimento de pesquisas educacionais: implicações teórico-metodológicas, propostas e desafios da gestão de dados científicos. Revista Exitus, v. 12, n. 1, p. e022069, 2022. Disponível em: http://www.ufopa.edu.br/portaldeperiodicos/index.php/revistaexitus/article/view/1762. Acesso em: 6 nov. 2022.

COSTA, A. B. et al. Construção de uma escala para avaliar a qualidade metodológica de revisões sistemáticas. Revisão Ciência & Saúde Coletiva, Rio de Janeiro, vol. 21, n. 4, 2014, p. 2448- 2449. Disponível em : https://www.scielo.br/j/csc/a/8vrT3tkQjY48FzYrNbJHWMF/?lang=pt. Acesso em: 6 nov. 2022.

EASTERBROOK, S. et al. Selecting empirical methods for software engineering research. Guide to advanced empirical software engineering, 2008, p. 285-311.

KITCHENHAM, B. A.; CHARTERS, S. Guidelines for performing systematic literature reviews in software engineering. Technical Report EBSE01, Keele University, 2007.

KLOCK, A. C. T. Mapeamentos e Revisões sistemáticas da Literatura: um Guia Teórico e Prático. Cadernos de Informática, v. 10, n. 1, 2018, p. 1-19. Disponível em: https://seer.ufrgs.br/cadernosdeinformatica/article/view/v10n1201801-09. Acesso em: 23 nov. 2022.

KUHRMANN, M., FERNÁNDEZ, D. M., DANEVA, M. On the pragmatic design of literature studies in software engineering: an experience-based guideline. Empirical Software Engineering, v.6, n. 22, 2017, p. 2852-2891.

PETERSEN, K. et al. Systematic mapping studies in software engineering. In: Proceedings of the 12th International Conference on Evaluation and Assessment in Software Engineering, Swindon, UK. 2008, p. 68–77.

RANDOLPH, J. J. A Guide to Writing the Dissertation Literature Review. Practical Assessment, Research, and Evaluation. v. 14, n.13, 2009.