INTRODUÇÃO

A evolução digital e tecnológica vivenciada pela humanidade nos últimos tempos provocou uma revolução também no mundo acadêmico. Anteriormente marcado pelas buscas off-line em fichas, catálogos, livros, revistas científicas, periódicos e materiais impressos de todo o tipo (jornais, enciclopédias, diários, relatórios e outros), o universo acadêmico está cada vez mais dinâmico, interligado e acessível, alavancado pela comunicação eletrônica, pela cultura on-line e pelo contexto multiplataforma da internet, que marcam a sociedade contemporânea no mundo globalizado. Os documentos acadêmicos e científicos, antes alcançados somente de forma presencial em bibliotecas, museus, universidades, laboratórios e outros ambientes, hoje encontram-se disponíveis em repositórios digitais, bibliotecas virtuais, acervos on-line, bases de dados, softwares, aplicativos e diversos outros meios eletrônicos de divulgação.

Associado à veloz propagação das informações produzidas em todo o mundo, presencia-se também, desde o início do presente século, considerável aumento de instituições educacionais e de cursos de ensino superior nas diversas áreas do conhecimento.

No Brasil, a área da educação tem apresentado acelerada expansão em seus programas de pós-graduação. O setor saltou de 78 programas, em 2007, para 184, em abril de 2019, o que corresponde a um aumento de 136% nesse período (BRASIL, 2019). Consequentemente, o país presencia expressiva ampliação de cursos e matrículas em mestrados e doutorados, progressivo aumento no número de periódicos e eventos científicos, expansão de grupos de pesquisa, dentre outros fatores que impulsionam a produção acadêmica na área (VOSGERAU; ROMANOWSKI, 2014).

Portanto, no contexto de crescente produtividade científica e da célere difusão do conhecimento impulsionada pelas tecnologias computacionais, avança a demanda científica para busca, seleção e resumo das melhores pesquisas disponíveis e potencialmente relevantes sobre determinada questão, a fim de que os novos estudos produzidos possam avançar a partir do saber anteriormente construído.

É nesse ponto que se localiza a contribuição da revisão sistemática de literatura. Esse estudo consiste na coleta, organização, categorização e síntese de um conjunto de dados já obtidos em pesquisas primárias. Ao empregar metodologia de pesquisa apoiada em critérios rigorosos, precisos e transparentes, busca minimizar os riscos de vieses e aferir maior grau de credibilidade e eficiência ao trabalho desenvolvido.

Tendo em vista as perspectivas e possibilidades fornecidas por tal modalidade de pesquisa às ciências da educação, este trabalho constitui-se como pesquisa bibliográfica de natureza qualitativa e tem por objetivo apresentar a conceituação, características e estrutura para operacionalização da revisão sistemática no campo educacional, para que pesquisadores e acadêmicos possam conhecê-la com maior profundidade e considerá-la como um dos caminhos para as pesquisas qualitativas.

O texto está organizado em quatro seções. A primeira parte traz um breve panorama do cenário acadêmico na área da educação e a relação entre a revisão sistemática de literatura e tais ciências. O segundo tópico conceitua a revisão sistemática a partir de referencial teórico e apresenta suas características e etapas, de modo a auxiliar o pesquisador na execução da metodologia. A terceira seção indica algumas contribuições, possibilidades e limites da revisão sistemática às pesquisas qualitativas no campo educacional. À guisa de conclusão, as considerações finais pretendem suscitar reflexões e encaminhamentos sobre a temática.

Almeja-se que o presente artigo possa contribuir com as pesquisas de revisão sistemática de literatura no campo das ciências da educação, oferecendo aos pesquisadores um percurso conceitual, teórico e metodológico que favoreça a elaboração de seus estudos e as vantagens dessa estratégia de pesquisa ao conhecimento construído na área.

A REVISÃO SISTEMÁTICA NAS CIÊNCIAS DA EDUCAÇÃO

Fazer pesquisa pressupõe uma série de requisitos, que envolvem desde método, estratégia e perícia, até sensibilidade, bom senso e instinto, o que exige do pesquisador conhecimento acerca dos aspectos teóricos, técnicos, filosóficos e metodológicos da abordagem que se pretende adotar (GATTI, 2002).

Muito do que se aprende sobre fazer pesquisa vem da própria prática do pesquisador, do dia a dia na universidade, da leitura de bibliografia específica, do contato com demais colegas, professores, autores, orientadores e pesquisadores mais experientes.

Há também as disciplinas, como as de metodologia da pesquisa, que se ocupam especificamente do ensino de métodos, técnicas e instrumentos disponíveis ao pesquisador para a construção de seu trabalho científico. Entretanto, nem toda a diversidade de estratégias é explorada nesses momentos, seja pela exígua carga horária para contemplar toda possibilidade de percursos metodológicos, seja pela formação dos professores que ministram a matéria ou até pelas tendências epistemológicas predominantes em determinado campo do saber, além de outros fatores.

Nos cursos das ciências da educação, especialmente nas licenciaturas e magistério, as disciplinas sobre metodologia da pesquisa tendem ao ensino das abordagens voltadas a estudos de caso, pesquisa-ação, pesquisa participante, pesquisa documental, pesquisa bibliográfica, pesquisa etnográfica, dentre outras categorias mais utilizadas de pesquisas qualitativas. Poucas vezes são explorados em profundidade os aspectos epistemológicos e metodológicos da revisão sistemática de literatura e as contribuições científicas às pesquisas educacionais que podem emergir desses estudos.

Tal fenômeno pode ser explicado pelo fato de o movimento baseado em evidências e ancorado em revisões sistemáticas predominar preeminentemente em certas áreas do conhecimento, como as ciências médicas. De outro lado, verificam-se divergências e resistências sobre pressupostos ontológicos, epistemológicos e metodológicos em certos campos do saber, para os quais a noção de evidência objetiva geralmente é vista com desconfiança nas perspectivas pós-modernas. Por estes e outros fatores, somente no final do século XX, o movimento para basear práticas e políticas públicas na melhor evidência disponível migrou da medicina para outras áreas, como foi o caso das ciências sociais (TRANFIELD; DENYER; SMART, 2003).

Tal fato se refletiu, nas últimas décadas, em movimentos e projetos de pesquisadores e profissionais da área das ciências da educação acerca dos aspectos epistemológicos, metodológicos e práticos de pesquisas embasadas em revisões sistemáticas de literatura. Na Europa, três iniciativas demonstram essa tendência.

Em palestra realizada em 1996, David Hargreaves, professor de educação da Universidade de Cambridge e então conselheiro dos ministros do governo para a educação no Reino Unido, afirma que o ensino não era uma profissão baseada em pesquisa e defende a necessidade de uma abordagem mais estratégica para armazenamento e uso da pesquisa educacional. Comparando os campos da medicina e da educação, o autor traça um paralelo entre a atualização permanente necessária aos médicos sobre as pesquisas médicas enquanto, de outro lado, muitos professores sequer reconhecem a importância da pesquisa para sua atuação profissional. Nesse trabalho, Hargreaves (1996) recomenda uma profunda transformação quanto ao envolvimento dos docentes na aplicação e na realização de pesquisas na área. Tal evento leva os formuladores de políticas educacionais inglesas a iniciarem um movimento de aproximação entre teoria e prática (EPPI-CENTRE, 2008).

No ano 2000, o Department for Children, Schools and Families (DCSF) financia o EPPI-Centre para se tornar um Centre for Evidence Informed Policy & Practice in Education, ou Centro de Políticas e Práticas Informadas por Evidências em Educação, com a finalidade fomentar a cultura de aceitação e participação em revisões sistemáticas entre as várias comunidades de pesquisa em educação, desenvolver ferramentas e materiais para apoiar aqueles que realizam revisões em educação e realizar treinamentos em métodos de revisão sistemática para a educação (EPPI-CENTRE, 2008).

A Campbell Collaboration, criada em Londres no ano de 1999, constitui-se atualmente como rede internacional de referência em pesquisas com base em sínteses de evidências no campo das ciências sociais. Os trabalhos de revisão sistemática desenvolvidos pela organização estão distribuídos nas áreas de: educação; negócios e gestão; soluções climáticas; crime e justiça; deficiência; desenvolvimento internacional; tradução e implementação de conhecimento; métodos; e bem-estar social. Com o lema ‘Melhor evidência para um mundo melhor’, a organização produz e divulga revisões sistemáticas abertas e relevantes para políticas e práticas no campo das ciências sociais, utilizando linguagem simples e resumos de alta qualidade (CAMPBELL, 2021).

Outra iniciativa que ilustra esse movimento tem sido capitaneada pelo Economic and Social Research Council (ESRC). Em 2001, o ESRC financiou a formação de uma rede de centros multidisciplinares, denominada The Evidence Network, voltada ao desenvolvimento de práticas e políticas baseadas em evidências nas ciências sociais e ao uso da revisão sistemática para informar e melhorar a tomada de decisões por parte de governos, empresas e outros setores (TRANFIELD; DENYER; SMART, 2003).

Apesar de, nos últimos anos, a revisão sistemática da literatura nas ciências da educação despertar progressivo interesse de pesquisadores e organizações em todo o mundo, o Brasil ainda não apresenta grandes avanços na área (RAMOS; FARIA; FARIA, 2014).

De outro lado, há também um impulso recente no campo das ciências da saúde para que políticas clínicas incluam valores, crenças e preferências de pacientes, o que reflete uma tendência ao desenvolvimento de pesquisas de revisão sistemática qualitativas também nessa área, superando a tradição quantitativa e meta-analítica das revisões nessa área (MAJID; VANSTONE, 2018).

Isto posto, vê-se amplo espaço para debate e crescente demanda para o desenvolvimento de estudos de revisão sistemática no campo das ciências da educação e sobre evidências qualitativas. Para que possa figurar entre as opções metodológicas dos estudos a serem realizados por pesquisadores e acadêmicos da área, é necessário conhecimento e adequada apropriação do método. O primeiro passo está, portanto, em compreender a revisão sistemática.

COMPREENDENDO A REVISÃO SISTEMÁTICA DE LITERATURA

O termo revisão sistemática se fez mais presente no cotidiano social com a pandemia de COVID-19, quando passou a ser utilizado em reportagens, debates, matérias e editoriais sobre a doença em programas de televisão, rádio, internet e outras mídias. Esse fenômeno, em grande medida, tornou a nomenclatura mais familiar ao vocabulário da população em geral e despertou o interesse de estudantes e acadêmicos de diversas áreas do conhecimento no meio científico.

Apesar da maior difusão dessa terminologia em diferentes meios e contextos, ainda se vê alguma generalização quanto ao seu uso, muitas vezes associado a todo e qualquer tipo de exame da literatura sobre temas específicos. Este talvez seja um dos primeiros esclarecimentos necessários à compreensão sobre tal delineamento de pesquisa.

Para perceber o universo das revisões de literatura, cabe destacar o estudo de Grant e Booth (2009), o qual identificou catorze diferentes tipologias de revisões. Dentre os tipos de revisão e métodos associados, os autores citam: revisão rápida, revisão crítica, revisão literária, revisão narrativa, revisão de escopo, revisão do estado da arte e outras.

Vosgerau e Romanowski (2014) analisaram diferentes denominações relativas a estudos de revisão a partir da análise prioritária de artigos da área educacional, embora tenham incluído também estudos das ciências da saúde, visto que a origem dessa modalidade de pesquisa vem desse campo. Em seu trabalho, as autoras organizam os tipos de procedimentos de revisão em dez agrupamentos, de acordo com as características identificadas.

Com base nestes e em outros estudos, é possível perceber que algumas nomenclaturas têm sido empregadas com o mesmo sentido para pesquisas com finalidades diversas e procedimentos metodológicos distintos, gerando certa confusão no meio acadêmico.

Para lançar luz a esta questão, a presente seção expõe a conceituação referente à revisão sistemática de literatura, as etapas e propriedades essenciais que a distinguem das demais modalidades de revisão, de modo a contribuir com seu entendimento e adequada realização, especialmente no campo das ciências da educação.

Conceituação da revisão sistemática de literatura

Compreender o conceito de revisão sistemática ou revisão sistemática de literatura parece ser o ponto de partida para compreensão dessa metodologia e adequada distinção de outros estudos de mapeamento ou de revisão. De acordo com Okoli (2015b, p. 3, tradução dos autores),

[...] A revisão sistemática (também chamada de revisão sistemática da literatura) é uma metodologia rigorosa originalmente desenvolvida para a realização de meta-análises nas ciências da saúde; desde então, foi expandida para as ciências sociais e outros campos de pesquisa e ampliada para empregar outras abordagens de síntese, inclusive qualitativas. Uma revisão sistemática não é meramente uma “revisão da literatura” no sentido de uma coleta e discussão da literatura relevante; é uma metodologia científica rigorosa para responder com autoridade a perguntas onde há uma quantidade suficientemente grande de pesquisa existente sobre o tópico, sintetizando a pesquisa existente.

Em linha com tal pensamento, a Campbell Collaboration (2021) ressalta que a revisão sistemática tem por propósito resumir a melhor pesquisa disponível sobre uma questão específica, utilizando procedimentos transparentes para encontrar, avaliar e sintetizar os resultados de pesquisas relevantes na área em estudo.

Os referenciais teóricos indicam que a revisão sistemática apoia-se na recolha exaustiva dos textos publicados sobre um tema em questão, empregando uma metodologia de pesquisa específica para esse fim. Constitui-se, por conseguinte, como pesquisa secundária, que aplica métodos explícitos e sistematizados, com rigor científico e de grande transparência, a fim de mitigar riscos de viés na busca, coleta, extração e aplicabilidade dos dados de pesquisas prévias de estudos primários, os quais fornecem evidências de alta qualidade para o contexto que se pretende investigar (CAMPBELL COLLABORATION, 2021; GALVÃO; RICARTE, 2019; GRANT; BOOTH, 2009; OKOLI, 2015a, 2015b; PEREIRA; GALVÃO, 2014a; PETTICREW; ROBERTS, 2006; RAMOS; FARIA; FARIA, 2014; TRANFIELD; DENYER; SMART, 2003; VOSGERAU; ROMANOWSKI, 2014).

Logo, a revisão sistemática, como o próprio termo indica, consiste em revisar, de modo sistemático, a literatura que já foi previamente produzida e divulgada. Pode ser entendida como uma pesquisa que revisa outras pesquisas a partir de um sistema ou protocolo, de modo sistemático e rigoroso. A revisão sistemática apoia-se em estudos primários para responder a seu problema de pesquisa e, para isso, utiliza-se de objetivos, metodologia, resultados e conclusão que lhe são próprios.

Portanto, os sujeitos da investigação nas revisões sistemáticas de literatura são estudos primários selecionados com base em critérios previamente definidos. Os estudos primários sobre os quais se apoia a revisão sistemática podem ser publicados na forma de artigos científicos, anais de eventos científicos, teses, dissertações, monografias, ensaios clínicos, mapas, blogs, postagens em redes sociais, relatórios técnicos, documentos governamentais, atas, normas etc.

À exceção dos artigos científicos, os demais documentos são denominados de ‘literatura cinzenta’, assim designada por incluir fontes não revisadas por pares, como acontece com as publicações em periódicos (PEREIRA; GALVÃO, 2014a; PETTICREW; ROBERTS, 2006). Petticrew e Roberts (2006) sublinham que tal literatura tem sido cada vez mais acessível devido à internet. Não obstante, apesar de não ser controlada por editores científicos, Pereira e Galvão (2014a) enfatizam a legitimidade e a relevância das informações publicadas nesses meios, apoiando sua inclusão nas revisões sistemáticas, quando estas são adequadas à finalidade do estudo.

Há também revisões sistemáticas feitas a partir de outras revisões sistemáticas, o que permite um overview dessas produções (GALVÃO; RICARTE, 2019). Esse trabalho é feito quando as revisões sistemáticas publicadas sobre determinado assunto estão defasadas e necessitam de atualização.

Importante ressaltar que a revisão sistemática de literatura não se trata de estudos do tipo estado da arte ou estado do conhecimento. Também não se deve confundir com revisões integrativas ou narrativas. Trata-se de delineamento de pesquisa com especificidades e protocolos próprios e rigorosos para minimizar vieses e erros, atestando a qualidade da informação aceita como evidência (GRANT; BOOTH, 2009, GALVÃO; PEREIRA, 2014a; OKOLI, 2015a, 2015b; TRANFIELD; DENYER; SMART, 2003).

O caráter de reprodutibilidade da revisão sistemática é uma importante propriedade desses estudos. Tal característica busca detalhar, de forma minuciosa, transparente e apurada, cada etapa percorrida no processo metodológico, a fim de favorecer a replicação e a avaliação crítica do estudo por outros pesquisadores (GALVÃO; RICARTE, 2019; TRANFIELD; DENYER; SMART, 2003).

Ou seja, a revisão sistemática de literatura pode ser compreendida como uma pesquisa que resume outras pesquisas. Em termos de processo, deve ser planejada, estruturada e controlada, seguindo procedimentos padronizados e transparentes que assegurem sua adequada elaboração e realização, bem como a reprodutibilidade do trabalho.

Concretização da Revisão Sistemática de Literatura

Tendo em conta as diferenças que existem entre as ciências, pretende-se, nesta seção, apresentar uma estrutura que possa ser empregada a pesquisas qualitativas no campo educacional, foco deste artigo. Autores indicam a operacionalização da pesquisa em etapas que atendam a princípios gerais de uma revisão sistemática de literatura. Por conseguinte, a concretização desse tipo de investigação científica pressupõe o cumprimento de critérios de investigação rigorosos, objetivos, transparentes e reprodutíveis. Apesar de haver variações entre autores quanto às etapas a serem percorridas nesse tipo de estudo, o planejamento certamente é consenso científico. A revisão sistemática é norteada por uma pergunta bem estruturada e a responde de forma objetiva, considerando a qualidade da evidência na resposta. A estruturação dos passos seguintes pressupõe apontar e delimitar o campo de pesquisa, definir previamente os descritores de busca, indicar claramente os estudos a serem incluídos, definir o escopo e a cronologia da revisão.

Galvão e Pereira (2014) recomendam oito etapas para a elaboração de revisões sistemáticas de literatura: (i) elaboração da pergunta de pesquisa; (ii) busca na literatura; (iii) seleção dos artigos; (iv) extração dos dados; (v) avaliação da qualidade metodológica; (vi) síntese dos dados (meta-análise); (vii) avaliação da qualidade das evidências; e (viii) redação e publicação dos resultados.

Figura 1 – Etapas da Revisão Sistemática de Literatura

Fonte: Elaboração dos autores com base em Galvão e Pereira (2014)

Compete destacar que a estrutura da revisão sistemática de literatura pode aparecer com alguma variação na nomenclatura dos oito passos apresentados na Figura 1 ou na quantidade das etapas percorridas. Entretanto, é importante que ela contemple as três grandes fases para sua concretização, quais sejam: planejamento, condução ou elaboração e publicação.

A fase de planejamento é formalizada no protocolo de pesquisa. O protocolo representa um guia para a execução da revisão sistemática e deve se caracterizar por seu rigor e transparência. Por meio do protocolo, o pesquisador pode explicitar o propósito e os objetivos pretendidos com a pesquisa, evidenciar a necessidade e a relevância do estudo desenvolvido, aumentar a transparência das etapas percorridas, explicar os procedimentos adotados, favorecer a perspectiva exequível e aplicável do trabalho produzido, evitar riscos de viés no decorrer da pesquisa e garantir a credibilidade do estudo apresentado (GALVÃO; RICARTE, 2019; PEREIRA; GALVÃO, 2014a; RAMOS; FARIA; FARIA, 2014; OKOLI, 2015b).

Há diferentes estruturas e padrões de protocolo de revisão sistemática disponíveis na literatura. Para o presente estudo, será utilizado o modelo apresentado por Ramos, Faria e Faria (2014), o qual demonstra aderência às investigações no campo das ciências da educação. Tal protocolo está estruturado em oito passos, a saber: “(i) objetivos (ii) equações de pesquisa pela definição dos operadores booleanos; (iii) âmbito; (iv) critérios de inclusão; (v) critérios exclusão; (vi) critérios de validade metodológica; (vii) resultados; (viii) tratamento de dados”. De modo a favorecer a organização de tais etapas e a compreensão de cada uma, o Quadro 1 sistematiza o modelo sugerido e apresenta um formato de protocolo de revisão sistemática para o campo das ciências da educação.

Quadro 1 – Protocolo de revisão sistemática para o campo das ciências da educação

Fonte: Elaboração dos autores baseada em Ramos, Faria e Faria (2014)

A estrutura exposta no Quadro 1 pretende auxiliar pesquisadores do campo educacional a elaborarem e operacionalizarem sua revisão sistemática com logicidade, funcionalidade e transparência. Cabe ressaltar, no entanto, que o protocolo não é definitivo e pode ser organizado com mais ou menos passos, conforme decisão metodológica do pesquisador para seu trabalho científico. Também nesse sentido, convém ressaltar que, em função dos objetivos do pesquisador, a revisão da literatura pode ter diferentes níveis de profundidade, duração e complexidade.

Elaboração da pergunta de pesquisa

O ponto de origem de uma investigação científica consiste na busca da pergunta adequada, da questão sem resposta evidente (GATTI, 2002).

A preparação da pergunta de pesquisa é etapa fundamental ao trabalho de revisão sistemática de literatura e está intrinsicamente relacionada ao objetivo que se pretende alcançar. A partir dela, o pesquisador pode guiar sua revisão sistemática e tomar as demais decisões de pesquisa. Dessa forma, deve dedicar tempo e conhecimento para que a questão de pesquisa para que ela contemple características básicas, como ser factível, relevante, nova, devidamente estruturada e com foco bem definido.

A factibilidade ou viabilidade da pergunta consiste na existência de condições e recursos que possam respondê-la, isto é, na disponibilidade de estudos primários sobre o processo de revisão que se pretende desenvolver. Ser relevante demonstra que a pergunta desperta o interesse de outros pesquisadores ou tomadores de decisão sobre o trabalho a ser realizado. Tal característica pressupõe que a revisão sistemática é interessante e contém fator de contribuição em sua conclusão ou resultados. Também cabe considerar se a questão de pesquisa é nova e ainda não foi respondida por estudos anteriores, garantindo, assim, a originalidade e a necessidade da revisão. Caso já tenha sido respondida e não é uma pergunta nova, pode-se verificar se há necessidade de atualização da revisão já realizada. Por fim, outras características importantes referem-se à estrutura e ao foco da pergunta, pois garantem a adequada identificação dos termos da estratégia de busca e orientam a escolha das fontes de informação nas próximas etapas da revisão.

Logo, para chegar à questão norteadora da revisão, é necessário que o pesquisador realize uma análise prévia da literatura científica existente, a fim de verificar se há estudos primários disponíveis sobre a temática e se já foram feitas revisões sobre o que se pretende investigar (PEREIRA; GALVÃO, 2014a). Em caso de temas anteriormente contemplados ou de revisões antigas, pode ser necessária uma atualização ou ser recomendado um overview das revisões já elaboradas (GALVÃO; RICARTE, 2019).

Quanto à estrutura da pergunta de revisão, autores indicam determinados componentes de acordo com o tipo de estudo a ser realizado. Para estudos qualitativos, tais elementos podem ser ordenados na forma do acrônimo PICO, a fim de especificar: (P) população, condição ou problema; (I) intervenção; (C) comparação entre as intervenções, caso exista; (O) outcome (do inglês), desfecho ou resultado (GALVÃO; RICARTE, 2019). O esquema com a descrição de cada item está sugerido no Quadro 2.

Quadro 2 – Acrônimo PICO para perguntas de revisão sistemática em estudos qualitativos

Fonte: Elaboração dos autores baseada em dados da pesquisa (2022)

Como exemplo, segue-se uma questão para pesquisa qualitativa por meio de revisão sistemática no campo educacional: “Qual a percepção dos diretores escolares sobre a qualidade da aprendizagem em escolas públicas de ensino médio?”. Neste caso, a população ou problema refere-se aos “diretores escolares”. A intervenção está relacionada às “escolas públicas de ensino médio”. O desfecho ou resultados são “percepções sobre a qualidade da aprendizagem”. Nesse caso, não há fator de comparação, como demonstrado no Quadro 3.

Quadro 3 – Exemplo de pergunta de revisão sistemática em estudos qualitativos (sem comparação entre intervenções)

Fonte: Elaboração dos autores com base em dados da pesquisa (2022)

No caso de contar com componente de comparação na questão de pesquisa, esta poderia ser formulada da seguinte maneira: “Qual a percepção dos diretores escolares sobre a qualidade da aprendizagem em escolas públicas e privadas de ensino médio?”. Vê-se, nesse contexto, que a comparação se dá entre escolas públicas e privadas de ensino médio. O Quadro 4 exprime a referida comparação.

Quadro 4 – Exemplo de pergunta de revisão sistemática em estudos qualitativos (com comparação entre intervenções)

Fonte: Elaboração dos autores com base em dados da pesquisa (2022)

As estruturas aqui referidas não pretendem criar uma rigidez quanto aos itens que compõem a pergunta de revisão, mas esperam guiar o pesquisador quanto à importância e aos componentes necessários a esse tópico. Okoli (2015a) ressalta que o importante para a questão de pesquisa é que ela esteja alinhada ao objetivo da revisão e que seja precisa, clara e concisa.

De modo a atender adequadamente à finalidade da revisão sistemática, a formulação da pergunta de pesquisa requer reflexão, planejamento e validação, antes de se iniciar a busca na literatura.

Traçada, testada e validada a questão da revisão, o próximo passo é seguir para a busca na literatura, a fim de identificar pesquisas que utilizaram fontes primárias para responder, o mais próximo possível, a pergunta formulada (PEREIRA; GALVÃO, 2014a; VOSGERAU; ROMANOWSKI, 2014; OKOLI, 2015a).

Nota-se, portanto, que a pergunta de pesquisa é etapa à qual se deve dedicar atenção e investimento, dada a sua importância para as próximas fases da revisão. É imprescindível que ela contemple características primordiais, como ser factível, nova e interessante, e que sua estrutura guie a estratégia de busca e assegure a aplicação consistente do método que será empregado na revisão.

Estratégias de busca na literatura

Tendo-se definido o âmbito temático da pesquisa, devidamente explicitado na questão formulada e no protocolo de revisão sistemática, segue-se à coleta de dados.

Essa etapa traduz e concretiza a pergunta de pesquisa por meio das estratégias de busca definidas a priori, com o intuito de localizar documentos qualificados nas bases de dados e colher a melhor informação disponível sobre o que se pretende investigar.

Como alerta Okoli (2015b), o volume de documentos que têm potencial para responder a um tópico de interesse podem chegar a centenas ou até milhares de trabalhos. Por isso, segundo o autor, é necessário que a estratégia de busca favoreça uma triagem prática e eficiente dos materiais, o que implica em uma série de decisões críticas a serem tomadas previamente e explicitadas pelo revisor. Justificar as escolhas metodológicas confere consistência à pesquisa desenvolvida.

A primeira decisão da estratégia de busca consiste na escolha das bases de dados que servirão de fonte para a procura do material bibliográfico que melhor respondem à pergunta de pesquisa (PEREIRA; GALVÃO, 2014a; GALVÃO; RICARTE, 2019).

Os repositórios científicos eletrônicos são inúmeros e variados. Para se ter dimensão de sua pluralidade, em abril de 2022, o Portal de Periódico da Capes contabilizava duzentas e noventa e quatro bases cadastradas em sua plataforma. Os bancos de dados digitais oferecem ferramentas bibliográficas que auxiliam o trabalho do pesquisador e que, cada vez mais, conectam redes acadêmicas e fontes de produção científica. As bases de dados podem ser nacionais ou internacionais, de caráter multidisciplinar ou especializadas em determinada área do conhecimento.

Dentre os bancos de dados genéricos ou multidisciplinares, evidenciam-se os listados a seguir.

· Scopus: um dos maiores bancos de textos científicos revisados por pares e distribuídos por mais de cinco mil editoras internacionais, reúne cerca de vinte milhões de títulos, como livros, periódicos científicos, anais de congressos etc.

· Web of Science: disponibiliza acesso por meio de assinatura a diversas bases de dados, utilizando recursos de avaliação e seleção das informações sobre variados campos do saber.

· Scientific Electronic Library Online (SciELO): biblioteca eletrônica que abrange uma coleção selecionada de periódicos científicos brasileiros das diversas áreas do conhecimento.

· Repositórios Científicos de Acesso Aberto de Portugal (RCAAP): faz a integração e indexação de documentos científicos em acesso livre de diversos repositórios das instituições portuguesas de ensino superior e de outras organizações de pesquisa e desenvolvimento do país.

· Portal de Periódicos da Capes: congrega e difunde vasta produção científica internacional, como artigos, patentes, livros, enciclopédias, obras de referência, normas técnicas, estatísticas e outros.

· Biblioteca Digital Brasileira de Teses e Dissertações (BDTD): reúne e distribui os textos completos das teses e dissertações defendidas nas instituições brasileiras de ensino e pesquisa.

Entre as bases especializadas e que são voltadas ao campo educacional, destacam-se as seguintes.

· Education Resource Information Center (ERIC): biblioteca online patrocinada pelo Departamento de Educação dos Estados Unidos da América, que fornece, em acesso aberto, conteúdo sobre assuntos relacionados à educação.

· Índice de Revistas de Educação Superior e Investigação Educativa (IRESIE): dissemina artigos científicos na área da Educação publicados em revistas do México e de outros países ibero-americanos.

· Edubase: fundada pela Biblioteca da Faculdade de Educação da Unicamp, organiza artigos de periódicos nacionais em acesso aberto das áreas de educação e outras. Padroniza os assuntos indexados por meio do Vocabulário Controlado de Educação e Áreas Afins (VOCEA), que informa o artigo tanto em português como em inglês padronizados.

· Educ@: indexador implementado pela Fundação Carlos Chagas (FCC) e que oferece acesso a coleções de periódicos científicos de educação.

Os repositórios científicos digitais não são padronizados, assim a busca depende dos critérios e dos recursos de navegação disponíveis em cada plataforma. As ferramentas bibliográficas podem favorecer buscas filtradas por critérios, como idioma dos trabalhos, área, tipo de publicação, autor, instituição, periódico, intervalo de anos etc.; indexadas por vocabulário padronizado; analisadas por indicadores bibliométricos; e outras possibilidades a depender da sua estrutura tecnológica, metodologia de indexação e interface com instituições e softwares.

É importante ao revisor criar uma estratégia de busca customizada para cada repositório e manter o registro do processo percorrido em cada repositório, o que auxilia na memória dos passos realizados e na posterior redação do trabalho. Em alguns casos, os repositórios permitem a integração dos textos com gestores de referência bibliográfica, como Mendeley ou EndNote, o que facilita a organização e a análise das referências coletadas.

Outra importante decisão para a estratégia de busca provém da definição dos descritores que serão utilizados no mapeamento terminológico (PEREIRA; GALVÃO, 2014a; GALVÃO; RICARTE, 2019). Os descritores são palavras ou termos inseridos nos campos de pesquisa nas bases de dados. Eles direcionam a busca ao encontro dos documentos existentes sobre o tópico pretendido. Por isso, a escolha adequada desses termos é fundamental para que a revisão sistemática seja representativa do conhecimento disponível.

Cabe destacar que descritores e palavras-chave não são sinônimos. As bases de dados dispõem de vocabulário controlado, ou thesaurus, que seguem estruturas hierárquicas de indexação para descrever, organizar e localizar a informação (BRANDAU; MONTEIRO; BRAILE, 2005; PEREIRA, GALVÃO, 2014a). De acordo com Brandau, Monteiro e Braile (2005), o descritor parte de um vocabulário organizado em estruturas hierárquicas e segue um controle de sinônimos, significado e importância em uma árvore de palavras, o que não acontece, necessariamente, com as palavras-chave.

Recomenda-se que a redação dos descritores utilizados na busca dos estudos de revisão sistemática seja feita em língua inglesa, uma vez que as bases de dados dispõem de vocabulário controlado e priorizam este idioma na classificação dos documentos científicos indexados. Nesse sentido, cabe ressaltar também a importância de os descritores da pesquisa serem adequadamente traduzidos para o idioma inglês no momento da busca. Tal medida potencializa a sensibilidade da busca e favorece a captação mais criteriosa e precisa dos documentos elegíveis à revisão sistemática (PEREIRA; GALVÃO, 2014a; GALVÃO; RICARTE, 2019).

Na estratégia de busca, podem-se adotar limites para o campo em que se deseja localizar o termo, como título, resumo e palavras-chave. Também é possível restringir características como idioma, data e país de publicação. Vale lembrar que toda restrição na estratégia de busca representa perda potencial de estudos importantes, devendo ser usada com parcimônia (PEREIRA; GALVÃO, 2014a, p. 1).

Para o mapeamento terminológico sobre o qual as buscas serão orientadas, é fundamental que o pesquisador defina a maneira como os descritores serão localizados nas bases (PEREIRA; GALVÃO, 2014a; GALVÃO; RICARTE, 2019). Essa decisão faz parte da estratégia de busca e é de suma importância para a configuração e o impacto da pesquisa.

Nesse ponto, os operadores booleanos ajudam a refinar as pesquisas e a construir buscas avançadas nas plataformas. Os operadores ‘AND’ (e), ‘OR’ (ou), ‘NOT’ (não) devem ser escritos em inglês e com letras maiúsculas, para se distinguirem dos descritores consultados. Acerca da utilização e do emprego dos descritores nas buscas, Pereira e Galvão (2014a, p. 1), explicam que

[...] entre termos distintos, geralmente usa-se o ‘AND’, para localizar estudos sobre os dois temas (intersecção). Entre os sinônimos de um componente da busca, utiliza-se o ‘OR’, recuperando-se artigos que abordem um ou outro tema (soma). O operador ‘NOT’ é utilizado para excluir um assunto da busca.

Vale destacar que tais equações de pesquisa devem vir expostas no protocolo da revisão sistemática. Recomenda-se, também, que as delimitações das estratégias de busca sejam redigidas e apresentadas de forma clara e organizada no relatório da pesquisa ao final do trabalho, de modo a garantir o caráter de reprodutibilidade da revisão sistemática (GALVÃO; RICARTE, 2017; OKOLI, 2015a, 2015b). Entre as decisões que podem delimitar a busca, estão: país, intervalo de anos, idioma da publicação, tipos de periódicos, fontes de financiamento, instituições, participantes e outras (PEREIRA; GALVÃO, 2014a; OKOLI, 2015b).

Antes de efetuar todo o trabalho de busca nas plataformas bibliográficas, o pesquisador deve testar suas equações e delimitações de pesquisa, a fim de calibrar a estratégia para melhor responder à pergunta norteadora.

O trabalho de busca deve ser bem executado e seguir procedimentos padronizados e criteriosos, de modo a identificar e incluir estudos relevantes que respondam à questão de pesquisa. Também aqui, ressalta-se a necessidade de que todos os passos percorridos sejam registrados com clareza, possibilitando sua reprodução.

Seleção dos estudos

A fase de seleção dos documentos é determinante à qualidade da revisão sistemática que se pretende elaborar. Deve estar fundamentada em um processo rigoroso e explícito de análise dos estudos elegíveis, de forma a evitar qualquer viés de seleção e ou de aferição.

Nesta etapa, os critérios de inclusão e de exclusão atuam como indicadores para verificação da proximidade ou distanciamento do material à questão de pesquisa que se pretende investigar (VOSGERAU; ROMANOWSKI, 2014). A importância da seleção baseia-se na decisão do pesquisador sobre quais documentos ficam para a análise dos dados e quais são eliminados, uma vez que a subsequente coleta uniforme dos dados depende de critérios claros e específicos que irão balizar quais estudos podem ser considerados úteis e aplicáveis à revisão (OKOLI, 2015a, 2015b; VOSGERAU; ROMANOWSKI, 2014).

Okoli (2015b) ressalta que, nesta fase, o pesquisador não deve julgar a qualidade ou avaliar a informação encontrada nos estudos.

O processo de seleção pode dispor de várias fases de leitura. Procede-se, preliminarmente, à leitura dos títulos dos documentos encontrados e dos resumos das obras. De acordo com Okoli (2015b), os critérios de inclusão e exclusão devem ser suficientemente simples para se definir, apenas pelo título e resumo, se determinado estudo será incluído ou não na revisão. Por fim, a leitura crítica geral dos documentos permite conferir a aderência das fontes ao âmbito da revisão sistemática (PEREIRA; GALVÃO, 2014a; GALVÃO; RICARTE, 2019).

Outra recomendação para esta etapa é realizar a chamada seleção pareada, que significa contar com pelo menos dois pesquisadores aptos a realizar a seleção dos documentos e que trabalhem de forma independente seguindo os critérios pré-estabelecidos para a busca e definidos a partir da pergunta de pesquisa (PEREIRA; GALVÃO, 2014a). Essa estratégia minimiza os riscos de viés, já que cada revisor registra de maneira autônoma se determinado documento é elegível ou não para a pesquisa. Em caso de divergência, busca-se o consenso entre os dois revisores ou se recorre à análise de um terceiro avaliador.

No caso dos estudos excluídos, o revisor deve indicar suas razões práticas para não os considerar, justificando como o resultado da revisão ainda pode ser abrangente, dados os critérios práticos de exclusão (OKOLI, 2015b).

No processo de seleção, o pesquisador pode contar com softwares específicos de gerenciamento bibliográfico, que auxiliam na verificação dos dados, na eliminação de documentos duplicados e na organização das obras coletadas. Dentre os softwares gerenciadores de referências bibliográficas estão: EndNote, Mendeley, Zotero e outros. Os programas de gerenciamento auxiliam na operacionalização da seleção e são importantes ferramentas para otimizar esse trabalho e organizar a quantidade de documentos manuseados na busca.

Extração dos dados dos estudos

Após o pesquisador identificar todos os estudos que devem ser incluídos na revisão, inicia-se a extração dos dados elegíveis à pesquisa. Ou seja, quais as informações serão retiradas dos documentos selecionados.

As informações extraídas dos estudos devem ser definidas a priori, evitando, assim, retrabalho e riscos de viés de seleção (PEREIRA; GALVÃO, 2014a; 2014b).

O protocolo é importante ferramenta nessa ação. Essa matriz de critérios delimita o escopo da coleta e orienta o pesquisador sobre as informações de cada estudo aplicáveis à revisão sistemática.

A extração dos dados dos estudos inclui, portanto, a coleta das informações dos textos conforme os critérios de inclusão e de exclusão da revisão sistemática. Os dados devem, preferencialmente, ser comparáveis entre si, tais como sujeitos dos estudos, campos de pesquisa, metodologias utilizadas, referenciais teóricos, resultados e outros.

Nessa etapa, também se faz necessário registrar cada passo percorrido e informá-lo na redação final para que seja possível replicar o procedimento realizado (GALVÃO; RICARTE, 2019; PEREIRA; GALVÃO, 2014b; OKOLI, 2015a, 2015b; TRANFIELD; DENYER; SMART, 2003). Formulários eletrônicos, softwares especializados ou editores de texto são ferramentas comumente usadas para esse fim.

De acordo com Tranfield, Denyer e Smart (2003), no formulário de extração de dados, os revisores devem incluir informações necessárias para realizar a síntese de dados, como título do trabalho, autores, periódico, detalhes da publicação, características da população investigada, contexto do estudo, bem como identificação de temas emergentes e resultados-chave.

A etapa de extração de dados é fundamental para a pesquisa e deve ser tratada com cuidado e meticulosidade científica. Problemas são causados nas pesquisas educacionais no Brasil, muitas vezes por ocorrer

observações casuísticas, sem parâmetros teóricos, a elaboração pobre de observações de campo conduzidas com precariedade, análises de conteúdo realizadas sem metodologia clara, incapacidade de reconstrução do dado e de percepção crítica de vieses situacionais, desconhecimento no trato da história, precariedade na documentação e na análise documental (GATTI, 2002, p. 31).

Portanto, recomenda-se atenção quanto aos possíveis riscos de viés, a fim de garantir a credibilidade da pesquisa. A atuação independente de dois pesquisadores nesse trabalho pode ajudar a prevenir tais problemas.

Avaliação da qualidade metodológica

O cuidado com a qualidade é uma premissa que deve permear todo o processo de pesquisa e também na elaboração da revisão sistemática.

A avaliação da qualidade metodológica dos estudos incluídos na revisão sistemática é uma etapa fundamental para esse tipo de pesquisa. Também é conhecida como avaliação dos riscos de viés dos estudos incluídos. O objetivo dessa etapa é avaliar se o estudo incluído na revisão foi bem realizado e qual a sua qualidade metodológica.

Normalmente esta fase é conduzida por dois revisores que atuam de forma independente e que, posteriormente, comparam suas apurações. Em caso de discordâncias, estas podem ser sanadas por consenso entre eles ou com a participação de um terceiro revisor (ALMEIDA; GOULART, 2017; PEREIRA; GALVÃO, 2014b).

A avaliação crítica da qualidade metodológica representa a confiança nos resultados da revisão sistemática, cuja atenção deve evitar as três principais fontes de viés: seleção, aferição e confundimento (PEREIRA; GALVÃO, 2014b). Almeida e Goulart (2017) ressaltam que o viés de confundimento não é usual no caso de revisões sistemáticas qualitativas.

O viés ou erro sistemático inclui toda e qualquer distorção do processo de investigação e é entendido como alguma incorreção da metodologia, em qualquer processo ou fase da pesquisa, que tenha levado à distorção do resultado do estudo (ALMEIDA; GOULART, 2017).

Para tanto, os critérios de inclusão e de exclusão devem ser declarados explicitamente, de forma a atuar como indicadores de avaliação da qualidade metodológica das pesquisas inventariadas. Tal procedimento ajuda o pesquisador a julgar quais estudos devem ser excluídos por qualidade insuficiente, como também auxilia na classificação da qualidade de todos os documentos incluídos conforme as metodologias de pesquisa empregadas (OKOLI, 2015a; PETTICREW; ROBERTS, 2006; TRANFIELD; DENYER; SMART, 2003; VOSGERAU; ROMANOWSKI, 2014).

De acordo com Okoli (2015a), nessa etapa, é importante que os revisores explicitem os critérios usados para julgar os documentos que foram excluídos por qualidade insuficiente e como se deu a classificação dos materiais incluídos por sua qualidade. Também Tranfield, Denyer e Smart (2003) elencam uma série de critérios que podem ser usados ​​para avaliar estudos qualitativos, argumentando que qualquer decisão sobre a exclusão de um documento precisa ser suficientemente apoiada pelo revisor quanto às razões que a motivaram.

As ferramentas de avaliação crítica são check lists para cada delineamento, conforme os critérios definidos a priori e testados preliminarmente para garantir a qualidade (PEREIRA; GALVÃO, 2014b). Nesse sentido, podem ser utilizados guias de avaliação da qualidade orientados para estudos quantitativos (OKOLI, 2015b), qualitativos (MCINNES; WIMPENNY, 2008; PETTICREW; ROBERTS, 2006; MAJID; VANSTONE, 2018) ou mistos (ROUSSEAU; MANNING; DENYER, 2008). Dada a diversidade de abordagens qualitativas, não há consenso sobre o mérito ou melhor estratégia para avaliar a qualidade da pesquisa qualitativa, porém, muitos revisores optam por buscar ferramentas de avaliação estruturadas e expressar com clareza a avaliação da qualidade dos estudos incluídos, de modo a fornecer uma avaliação objetiva e crítica do rigor da pesquisa (MAJID; VANSTONE, 2018).

Avaliar a qualidade metodológica dos estudos incluídos na revisão é um desafio ao pesquisador e demanda trabalho rigoroso, tempo e perícia. Estabelecer critérios rígidos, manter o histórico sobre os procedimentos realizados, registrar cada decisão e utilizar uma ferramenta de avaliação da qualidade alinhada ao objetivo da revisão são estratégias que ajudam a evitar vieses e assegurar a confiabilidade na pesquisa.

Síntese dos achados

A principal função da síntese dos resultados é responder à pergunta de pesquisa, agrupando os dados com base na homogeneidade dos estudos. Após agregar, organizar, analisar e comparar os documentos, os revisores devem compor uma síntese dos dados. Tal medida busca combinar os estudos de modo a lhes dar um sentido abrangente (OKOLI, 2015a).

A sumarização parte da análise dos dados extraídos dos estudos, usando técnicas quantitativas ou qualitativas apropriadas ou ambas, conforme a natureza dos dados (OKOLI, 2015a; 2015b; PETTICREW; ROBERTS, 2006; ROUSSEAU; MANNING; DENYER, 2008; SILVA; LOPES; JUNIOR, 2014; TRANFIELD; DENYER; SMART, 2003). As sínteses qualitativas se diferenciam das revisões sistemáticas quantitativas de várias formas.

Estudos quantitativos tendem a aplicar a meta-análise na síntese dos resultados, fornecendo uma estimativa global dos dados, enquanto estudos qualitativos dispensam métodos estatísticos na apresentação dos resultados sem, no entanto, comprometer a qualidade ou a validade da pesquisa.

Cabe salientar que revisão sistemática não é sinônimo de meta-análise. A meta-análise é uma técnica que pressupõe a média ponderada dos resultados de cada estudo e pressupõe aspectos quantificáveis, podendo constar ou não da revisão sistemática (GALVÃO; PEREIRA, 2014; GRANT; BOOTH, 2009).

Estudos de revisão sistemática de caráter qualitativo ou relativos ao campo das ciências sociais e da educação passam a adotar, normalmente, perfil exploratório, cuja síntese dos dados tende a compendiar os estudos qualitativos de modo a identificar temáticas, conceitos e/ou teorias que possam responder à determinada pergunta acerca do fenômeno em análise (GALVÃO; RICARTE, 2019; MCINNES; WIMPENNY, 2008; RAMOS; FARIA; FARIA, 2014; TRANFIELD; DENYER; SMART, 2003).

Na esteira dessa reflexão, também Grant e Booth (2009) ressaltam o papel interpretativo da revisão sistemática qualitativa. O caráter interpretativo de análise e síntese dos dados, segundo os autores, pode ser guiado por temas ou construções verificados nos estudos qualitativos, a fim de ampliar a compreensão de determinado fenômeno. Logo, tal análise não pretende agregar os dados, como ocorre no caso da meta-análise, mas, de outro lado, possibilitar a ampliação ou a compreensão de um fenômeno particular (GRANT; BOOTH, 2009).

A análise a partir de uma visão interpretativa das evidências encontradas tem sido considerada, em alguns casos, mais adequada aos estudos no campo educacional,

visto que os achados, os instrumentos de coletas e sujeitos participantes normalmente são variados, o que torna difícil a agregação ou contabilização de resultados. Dessa forma, os resultados qualitativos e as condições de aquisição desses resultados necessitam ser agrupados e reagrupados de forma interpretativa, por semelhanças, para que possam responder à questão central de pesquisa proposta (VOSGERAU; ROMANOWSKI, 2014, p. 179).

De acordo com Vosgerau e Romanowski (2014), a sucessão de agrupamentos por semelhanças pode levar à sistematização dos estudos em categorias, permitindo a compreensão e a discussão das evidências encontradas.

Portanto, em lugar de simplesmente gerar uma análise descritiva dos dados, os métodos de síntese qualitativa podem abrir possibilidades interpretativas dos achados e propiciar a construção de narrativas mais amplas ou desenvolvimentos teóricos, usando análise temática até o desenvolvimento de explicações interpretativas sobre aspectos do fenômeno em estudo (MCINNES; WIMPENNY, 2008).

Em suma, é na fase de síntese que o pesquisador agrega, discute, organiza e compara detalhadamente os estudos considerados elegíveis à pesquisa, para que, ao final desse processo, possa redigir a revisão de maneira estruturada, clara e direta.

Avaliação da qualidade das evidências

Convém destacar que qualidade da revisão é diferente de qualidade da evidência. É possível que uma revisão sistemática bem executada ofereça uma evidência de qualidade baixa, ou vice-versa.

Em relação à verificação da qualidade das evidências, Galvão e Pereira (2015a) ressaltam a importância de o pesquisador compreender que diferentes delineamentos de pesquisa produzem evidências de diferente qualidade. De acordo com os autores, embora algumas investigações utilizem delineamento forte, podem falhar em aspectos que comprometam a credibilidade dos resultados. De outro lado, há pesquisas bem feitas que, mesmo utilizando delineamentos relativamente mais fracos, alcançam resultados de alta credibilidade.

A avaliação da qualidade das evidências deve ser feita de modo padronizado e a partir de ferramentas de avaliação crítica previamente elaboradas em consenso e validadas por especialistas. A qualidade da evidência reflete a confiança do revisor no resultado apresentado (GALVÃO; PEREIRA, 2015a).

Atualmente, há muitas listas de verificação para avaliar a qualidade da pesquisa qualitativa, mas ainda existe certa falta de consenso acerca do conjunto ideal dos critérios de qualidade (MCINNES; WIMPENNY, 2008).

O Qualitative Assessment and Review Instrument (QARI) é um software projetado especificamente para sintetizar estudos de pesquisa qualitativa e pode ser utilizado para avaliação da qualidade dos estudos qualitativos incluídos na revisão sistemática. Ele apresenta uma lista com dez critérios para verificação de avaliação de qualidade e pode ser acessado de forma online por dois ou mais revisores (MCINNES; WIMPENNY, 2008).

O importante é que o revisor busque avaliar a qualidade das evidências geradas na revisão sistemática, a fim de garantir maior credibilidade e aplicabilidade ao estudo realizado e suas possibilidades de contribuição a outros pesquisadores ou tomadores de decisão.

Redação e publicação dos resultados

A fase de redação e publicação dos resultados da pesquisa é a etapa final que coroa todo o processo de produção da revisão sistemática.

Segundo Galvão e Ricarte (2019), com vistas à difusão e melhor apropriação dessa modalidade de pesquisa, tem crescido o movimento para que os estudos de revisão sistemática sejam publicados em linguagem clara e compreensível ao público em geral.

A configuração mais comum de publicação se dá na forma de artigo científico em periódico ou evento científico. Porém, como indicam Galvão e Ricarte (2019), além de artigos científicos, as revisões sistemáticas também podem ser publicadas como relatórios científicos ou relatórios executivos voltados a tomadores de decisão.

A importância da publicação dos resultados de uma revisão sistemática consiste na disseminação do conhecimento construído com o trabalho desenvolvido a fim de contribuir ao avanço da ciência, fornecendo indicativos valiosos, achados significativos, referencial consistente, evidências práticas para o campo do saber e para a proposição de outros estudos. Por conseguinte, tal etapa requer tanto esforço e cuidado quanto as anteriores.

Como ressalta Okoli (2015a, 2015b), uma revisão sistemática rigorosa apoia-se em dois pilares fundamentais: documentação clara dos passos seguidos e contribuição acadêmica. Para o autor, sem uma descrição clara e compreensível dos achados, as chances de a revisão ser amplamente divulgada diminuem (OKOLI, 2015a). Nesse sentido, é importante que o relato seja consistente, objetivo e original. A redação científica da revisão sistemática deve primar pela logicidade científica, o que requer clareza, objetividade, transparência e rigor metodológico (GALVÃO; PEREIRA, 2015).

O relato da revisão pode ser estruturado em seções, cada uma delas com suas especificidades. Galvão e Pereira (2015) indicam quatro tópicos, a saber: introdução, métodos, resultados e conclusão. Vosgerau e Romanowski (2014) apontam a possibilidade da redação dos resultados da pesquisa contar também com a seção denominada quadro teórico, de modo a explicitar a definição aceita e utilizada pelo pesquisador sobre o tema de sua revisão. Nesse formato, a estrutura de publicação pode contar com cinco seções de redação da pesquisa.

De forma a contribuir com tal organização metodológica, sugere-se a estrutura apresentada no Quadro 5.

Quadro 5 – Estrutura de redação da revisão sistemática de literatura para estudos qualitativos

Fonte: Elaboração dos autores com base em dados da pesquisa (2022)

Compete ressalvar que, a despeito da estrutura organizada no Quadro 5, recomenda-se ao pesquisador que verifique as normas e as instruções para autores constantes do meio de publicação para o qual pretende endereçar seu estudo.

No caso das revisões sistemáticas de evidências qualitativas, as conclusões podem ser redigidas de várias formas, conforme a questão de pesquisa que se buscou investigar. Há diferentes autores que oferecem orientações acerca da estrutura e características de escrita da revisão sistemática.

POSSIBILIDADES, CONTRIBUIÇÕES E LIMITES DA REVISÃO SISTEMÁTICA DE LITERATURA ÀS PESQUISAS QUALITATIVAS

De acordo com Okoli (2015a), enquanto estudos quantitativos podem ser analisados apenas ​​quantitativamente, tanto estudos quantitativos quanto qualitativos precisam ser analisados ​​qualitativamente.

Cabe esclarecer que as revisões sistemáticas podem ser de abordagem qualitativa tanto no modo de análise e síntese dos dados coletados, como também ser realizada a partir de estudos qualitativos na área que se pretende investigar. A reflexão aqui conduzida segue no sentido da abordagem qualitativa das evidências e, para isso, o objetivo e a pergunta de pesquisa devem refletir tal propósito.

As pesquisas qualitativas contribuem de modo significativo com a ciência e com o conhecimento da realidade. Segundo Silva, Lopes e Junior (2014), questionamentos inéditos ou problemas inexplorados demandam estudos realizados por meio de pesquisas qualitativas. Estas permitem conhecer em profundidade as qualidades, características e aspectos daquilo que será pesquisado, de modo a iluminar a realidade e gerar dados empíricos sobre objeto ou fenômeno investigado.

Na esteira dessa reflexão, também Vasconcelos (2017) ressalta que é por meio da abordagem qualitativa que o pesquisador pode interagir com aspectos do fenômeno investigado e conhecê-lo com flexibilidade e riqueza de interpretações, bem como de aprofundamento na análise dos dados.

Revisões sistemáticas de boa qualidade são consideradas o melhor nível de evidência para tomadas de decisão tanto no âmbito das organizações quanto na esfera de políticas públicas, contribuindo com o resultado dos estudos em que são aplicadas (GALVÃO; PEREIRA, 2014; RAMOS; FARIA; FARIA, 2014).

A síntese dos achados de vários estudos produzidos sobre determinada questão por meio da revisão sistemática pode auxiliar na identificação das principais contribuições científicas para um campo ou questão, a fim de obter confiabilidade geral não disponível a partir de um único estudo isolado (TRANFIELD; DENYER; SMART, 2003).

A revisão sistemática produz uma nova evidência a partir dos estudos analisados. Por conseguinte, sua publicação beneficia a comunidade científica de várias formas. Dentre as possibilidades e contribuições provenientes dessa modalidade de pesquisa, destacam-se o seu papel no mapeamento de movimentos em determinada área; no avanço de conceitos; na revisão e ou na proposta de teorias; na identificação de fluxos e conexões entre assuntos pesquisados, como na indicação de tendências; na compreensão de um fenômeno particular; na organização temática em categorias; na análise dos aportes teórico-metodológicos de pesquisas desenvolvidas; no exame crítico de temas em evidência e recorrências; na indicação de lacunas de conhecimento que precisam ser investigadas em novas pesquisas; na indicação de melhorias ao campo científico; na elaboração de protocolos e diretrizes; na definição de políticas públicas; e tantas outras (GALVÃO; PEREIRA, 2014a; GALVÃO; RICARTE, 2017; GRANT; BOOTH, 2009; OKOLI, 2015a, 2015b; RAMOS; FARIA; FARIA, 2014; TRANFIELD; DENYER; SMART, 2003; VOSGERAU; ROMANOWSKI, 2014).

Como exemplo de contribuição ao campo das ciências sociais e econômicas, a Campbell Collaboration (2019) busca promover mudanças positivas por meio da elaboração de revisões sistemáticas que possam apoiar decisões de gestores públicos em diferentes áreas.

Contudo, qualquer modalidade de pesquisa é passível de limitações que devem ser consideradas no momento de sua decisão e implementação.

Dentre as fraquezas percebidas, Tranfield, Denyer e Smart (2003), em áreas como a educação, muitas vezes há menos consenso, do que em campos de tradição positivista, sobre a metodologia apropriada para avaliar as evidências e pouca concordância sobre como empregar evidências de pesquisa para informar políticas e práticas. Grant e Booth (2009) ressaltam que, em relação à revisão sistemática qualitativa, esta ainda se encontra em sua infância e há um debate considerável sobre quando métodos ou abordagens específicos são apropriados. Ou seja, há ainda um significativo caminho a ser trilhado para sua consolidação.

Especificamente no que concerne à análise qualitativa dos dados, deve-se considerar a interpretação subjetiva dos achados pelos revisores, característica intrínseca de estudos qualitativos. Nesse sentido, recomenda-se o detalhamento do procedimento metodológico percorrido, de modo a permitir que futuros pesquisadores repliquem ou alterem o processo. Importa ressaltar que as interpretações e questionamentos provenientes das análises qualitativas dos dados obtidos por meio da revisão sistemática têm o objetivo de indicar lacunas, oportunidades e proposições de novas investigações.

Esse fundamento pressupõe cuidadosa pesquisa bibliográfica, a qual possa fundamentar o corpo teórico em que se baseará a elaboração das questões de pesquisa, o grau de precisão que se pretende alcançar na investigação, as concepções que acompanham as decisões do pesquisador como a seleção da amostra e a análise dos dados, dentre outros aspectos do trabalho científico.

Outro aspecto a ser analisado para a realização da revisão sistemática de literatura refere-se ao cronograma destinado à sua execução, especialmente quando implementada por pesquisadores pouco experientes. O tempo é também uma das limitações a esse tipo de pesquisa, uma vez que o trabalho de revisão exige tempo, meticulosidade e consistência metodológica.

Como visto nas etapas de implementação desse tipo de pesquisa, é importante considerar a disponibilidade de recursos tecnológicos, como hardwares, softwares de gerenciamento bibliográfico, planilhas eletrônicas, editores de texto e outros, e acesso à internet. Além de tê-los à sua disposição, o pesquisador precisa desenvolver habilidades para operá-los e realizar adequados processos de busca nas bases de dados.

Em outra ponta, ao refletir sobre a aplicação de revisões sistemáticas nas pesquisas em educação, convém ponderar acerca dos impactos que a apropriação simplificada ou o uso amadorístico desse modelo de investigação pode causar. Como ressalta Gatti (2002), modismos temporários ou o imediatismo na escolha e na forma de tratamento dos problemas educacionais podem levar à precariedade ou à pouca relevância dos resultados científicos em sua contribuição a um conhecimento mais sistematizado.

Por todas as características e aspectos até aqui apresentados, é possível verificar que uma boa e adequada revisão sistemática de literatura implica estudo científico rigoroso e exigente, composto por várias etapas próprias, e que demanda tempo, preparo e domínio consistente dos pesquisadores que se lançam a essa modalidade de pesquisa.

CONSIDERAÇÕES FINAIS

O campo das ciências da educação no Brasil constatou, nas últimas décadas, expressiva propagação de cursos acadêmicos. Tal cenário refletiu em aumento no número de matrículas, estudantes, pesquisas, produções, publicações e estudos científicos. O contexto de crescente produção científica e de rápida difusão do conhecimento passou a demandar, assim, a compilação dos dados científicos da melhor qualidade que se encontram disponíveis , de modo organizado, estruturado e confiável.

Nesse ponto, a revisão sistemática da literatura notabiliza-se como modalidade de pesquisa que se baseia na literatura e aplica métodos sistemáticos, transparentes e reprodutíveis. Por se tratar de uma pesquisa secundária, depende da disponibilidade de estudos prévios, já que visa a sumarizar as pesquisas existentes sobre determinada questão ou problema. Consiste em um processo que busca identificar criticamente, selecionar e resumir a melhor pesquisa disponível sobre a questão investigada, seguindo protocolos específicos que lhe garantem validade metodológica e científica. Também no âmbito das pesquisas qualitativas, revisões sistemáticas de boa qualidade são reconhecidas por sua credibilidade e alto nível de evidência. Esses estudos são marcados por seu caráter de transparência e reprodutibilidade.

Há várias e distintas possibilidades e contribuições da revisão sistemática de literatura, tais como: mapear a produção do conhecimento sobre determinado tema, conhecer tendências, identificar e avaliar evidências de pesquisa, evitar duplicação de pesquisa, apontar lacunas de conhecimento que precisam ser investigadas, minimizar erros científicos, otimizar recursos, apoiar a elaboração de políticas, embasar o processo decisório nos âmbitos de organizações públicas e privadas sobre determinada questão, dentre outras. Os resultados ou desfechos das revisões podem apresentar, portanto, balanços críticos, levantamentos, análises e sínteses sobre o conhecimento atual existente, sendo de grande valia para a comunidade científica no sentido do avanço do conhecimento já construído e para tomadores de decisão.

Dentre as limitações da revisão sistemática de literatura, o pesquisador deve estar atento aos possíveis riscos de viés provenientes da seleção e da análise qualitativa dos dados. Também recomenda-se que a realização desses estudos no campo educacional não seja movida por mero modismo ou pelo imediatismo de sua aplicação, o que pode resultar em precariedade de análise e resultados, comprometendo a qualidade da pesquisa desenvolvida. Ressalta-se, ainda, que outro entrave para o êxito desse tipo de estudo relaciona-se ao cronograma disponível para sua realização, já que o trabalho demanda tempo de qualidade. Convém destacar que a perícia do revisor quanto à pesquisa em bancos de dados e sua familiaridade no manejo de softwares de gerenciamento bibliográfico são aspectos relevantes a serem considerados na decisão pela metodologia.

Destarte, embora ainda pouco difundida no campo educacional, vê-se que há um movimento crescente no mundo quanto à aplicação de tal modalidade na área e quanto às vantagens dessa estratégia de pesquisa ao conhecimento construído.

Espera-se, pois, que o presente artigo possa motivar o interesse quanto a aspectos e possibilidades da revisão sistemática nos estudos qualitativos, auxiliar pesquisadores em sua produção acadêmica, gerar proposições críticas sobre o tema e provocar incrementos e estímulo às pesquisas de revisão sistemática de literatura no campo educacional.

REFERÊNCIAS

ALMEIDA, C. P. B. de.; GOULART, B. N. G. de. How to avoid bias in systematic reviews of observational studies. Revista CEFAC. 2017, v. 19, n. 4, p. 551-555. Disponível em: https://doi.org/10.1590/1982-021620171941117. Acesso em: 20 mar. 2022.

BRANDAU, R.; MONTEIRO, R.; BRAILE D. M. Importância do uso correto dos descritores nos artigos científicos. Brazilian Journal of Cardiovascular Surgery. 2005, v. 20, n. 1, p. VII-IX. Disponível em: https://doi.org/10.1590/S0102-76382005000100004. Acesso em: 23 mar. 2022.

BRASIL. Documento de Área. Área 38: Educação. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/educacao-doc-area-2-pdf. Acesso em: 15 mar. 2021.

CAMPBELL COLLABORATION. Home page. Londres: Campbell Collaboration, 2021. Disponível em: https://www.campbellcollaboration.org. Acesso em: 12 abr. 2021.

EPPI-CENTRE – EVIDENCE FOR POLICY AND PRACTICE INFORMATION AND CO-ORDINATING CENTRE. Centre for Evidence Informed Policy & Practice in Education. 2008. Disponível em: https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2082. Acesso em: 30 mar. 2022.

GALVÃO, M. C. B.; RICARTE, I. L. M. Revisão sistemática da literatura: conceituação, produção e publicação. Logeion: Filosofia da Informação, Rio de Janeiro, v. 6, n. 1, p. 57-73, set. 2019. Disponível em: https://doi.org/10.21728/logeion.2019v6n1.p57-73. Acesso em: 20 abr. 2021.

GALVÃO, T. F.; PEREIRA, M. G. Revisões sistemáticas da literatura: passos para sua elaboração. Epidemiol. Serv. Saúde, Brasília, v. 23, n. 1, p. 183-184, mar. 2014. Disponível em: http://scielo.iec.gov.br/scielo.php?script=sci_arttext&pid=S1679-49742014000100018. Acesso em: 20 abr. 2021.

GALVÃO, T. F.; PEREIRA, M. G. Avaliação da qualidade da evidência de revisões sistemáticas. Epidemiol. Serv. Saúde, Brasília , v. 24, n. 1, p. 173-175, mar. 2015a. Disponível em: http://scielo.iec.gov.br/scielo.php?script=sci_arttext&pid=S1679-49742015000100019&lng=pt&nrm=iso. Acesso: 5 jun. 2021.

GALVÃO, T. F.; PEREIRA, M. G. Redação, publicação e avaliação da qualidade da revisão sistemática. Epidemiol. Serv. Saúde, Brasília, v. 24, n. 2, p. 333-334, abr.-jun. 2015b. Disponível em: https://www.researchgate.net/publication/279712768_Redacao_publicacao_e_avaliacao_da_qualidade_da_revisao_sistematica_Writing_publishing_and_quality_assessment_of_systematic_reviews. Acesso em: 30 abr. 2021.

GATTI, B. A. A construção da pesquisa em educação no Brasil. Brasília: Plano, 2002.

GRANT M. J.; BOOTH A. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information and Libraries Journal, v. 26, n. 2, p. 91-108, jun. 2009. Disponível em: https://doi.org/10.1111/j.1471-1842.2009.00848.x. Acesso em: 15 jan. 2022.

HARGREAVES, D. H. Teaching as a research-based profession: possibilities and prospects. In: The Teacher Training Agency Annual Lecture 1996, EPPI-Centre, 1996. Disponível em: https://eppi.ioe.ac.uk/cms/Portals/0/PDF%20reviews%20and%20summaries/TTA%20Hargreaves%20lecture.pdf. Acesso em: 2 abr. 2022.

MAJID, U.; VANSTONE, M. Appraising Qualitative Research for Evidence Syntheses: A Compendium of Quality Appraisal Tools. Qualitative Health Research. v. 8, p. 1-17, jul. 2018. Disponível em: https://www.researchgate.net/publication/326634411_Appraising_Qualitative_Research_for_Evidence_Syntheses_A_Compendium_of_Quality_Appraisal_Tools/citation/download. Acesso em: 27 abr. 2022.

MCINNES, E.; WIMPENNY, P. Using Qualitative Assessment and Review Instrument software to synthesise studies on older people's views and experiences of falls prevention. Int J Evid Based Healthc., set. 2008, v. 6, p. 337-344. Disponível em: https://doi.org/10.1111/j.1744-1609.2008.00104.x. Acesso em: 27 abr. 2022.

OKOLI, C. A guide to conducting a standalone Systematic Literature Review. Communications of the Association for Information Systems, v. 37, n. 43, p. 879-910, nov. 2015a. Disponível em: https://doi.org/10.17705/1CAIS.03743. Acesso em: 25 jan. 2022.

OKOLI, C. Critical Realist Considerations for Literature Reviews. SSRN Electronic Journal, Rochester, NY, dez. 2015b. Disponível em: https://dx.doi.org/10.2139/ssrn.2700524. Acesso em: 6 mar. 2022.

PEREIRA, M. G.; GALVÃO, T. F. Etapas de busca e seleção de artigos em Revisões Sistemáticas da Literatura. Epidemiol. Serv. Saúde, Brasília, v. 23, n. 2, p. 369-371, jun. 2014a. Disponível em: http://scielo.iec.gov.br/scielo.php?script=sci_arttext&pid=S1679-49742014000200019&lng=pt&nrm=iso. Acesso em 20 abr. 2021.

PEREIRA, M. G.; GALVÃO, T. F. Extração, avaliação da qualidade e síntese dos dados para Revisão Sistemática. Epidemiol. Serv. Saúde, Brasília, v. 23, n. 3, p. 577-578, set. 2014b. Disponível em: https://www.scielo.br/j/ress/a/JRHMrRzNtGqXFvfBMY9k38R/?lang=pt. Acesso em 22 abr. 2021.

PETTICREW, M.; ROBERTS, H. Systematic reviews in the social sciences: a practical guide. Oxford: Blackwell, 2006.

RAMOS, A.; FARIA, P. M.; FARIA, A. Revisão Sistemática de Literatura: contributo para a inovação na investigação em Ciências da Educação. Revista Diálogo Educacional, Curitiba, v. 14, n. 41, p. 17-36, abr. 2014. Disponível em: https://www.redalyc.org/articulo.oa?id=189130424002. Acesso em: 20 abr. 2021.

ROUSSEAU, D.; MANNING, J.; DENYER, D. 11 evidence in management and organizational science: assembling the field’s full weight of scientific knowledge through syntheses. The Academy of Management Annals, v. 2, n. 1, p. 475-515, jan. 2008. Disponível em: https://doi.org/10.5465/19416520802211651. Acesso em: 6 mar. 2022.

SILVA, D.; LOPES, E.; JUNIOR, S. Pesquisa quantitativa: elementos, paradigmas e definições. Revista de Gestão e Secretariado, São Paulo, v. 5, n. 1, p. 01-18, abr. 2014. Disponível em: http://dx.doi.org/10.7769/gesec.v5i1.297. Acesso em: 20 jun. 2021.

TRANFIELD, D.; DENYER, D.; SMART, P. Towards a methodology for developing evidence-informed management knowledge means of Systematic Review. British Journal of Management, v. 14, n. 3, p. 207–222, set. 2003. Disponível em: https://www.cebma.org/wp-content/uploads/Tranfield-et-al-Towards-a-Methodology-for-Developing-Evidence-Informed-Management.pdf. Acesso em 02 ago. 2021.

VASCONCELOS, I. C. O. de. Estudo de caso interativo: fácil entender, decidir e executar. Curitiba: CRV, 2017.

VOSGERAU, D. S. R.; ROMANOWSKI, J. P. Estudos de revisão: implicações conceituais e metodológicas. Revista Diálogo Educacional, Curitiba, v. 14, n. 41, p. 165-189, jul. 2014. Disponível em: https://doi.org/10.7213/dialogo.educ.14.041.DS08. Acesso em: 06 abr. 2021.