1 Introdução

A tarefa de editar um periódico científico é complexa e carregada de responsabilidade. É uma atividade que, na maioria dos casos, realiza-se simultaneamente com a docência e com a pesquisa científica, e nem sempre é um trabalho remunerado. Além disso, vale ressaltar que cabe ao editor a resolução de eventuais conflitos na recomendação dos revisores e, portanto, a responsabilidade pela decisão final acerca da publicação do manuscrito. Por outro lado, a crescente especialização do conhecimento científico faz com que ?só uns tantos especialistas sejam capazes de entender plenamente e julgar o mérito dos trabalhos que se publicam dentro de uma linha de investigação? (TERÁN, 2011, p. 171). Talvez, por isso, o julgamento do resultado do trabalho de pesquisa realizado por periódicos especializados seja um processo nem sempre harmônico, conforme ressaltam Serra, Fiates e Ferreira (2008, p. 3):

De um lado, pesquisadores reclamam das revisões e dos relatórios dos revisores. Por seu lado, os editores defendem-se afirmando que a avaliação é dos revisores, enquanto os revisores afirmam que muitos artigos são submetidos sem que sejam verificadas as condições mínimas desejáveis para uma avaliação.

Embora na ciência a busca pelo consenso constitua uma meta (ZIMAN, 1996), isso nem sempre é possível já que envolve um conjunto de interesses algumas vezes mediados por propósitos profissionais, outras vezes por propósitos pessoais. Gollogly e Momen (2006) oferecem conceitos sobre condutas editoriais inadequadas, que incluem a inobservância aos trâmites editorias, atraso nas decisões e na comunicação com os autores, apresentação inadequada de recursos e uso da revista para a promoção pessoal e profissional. Para estes autores, a má atuação no processo de publicação parece buscar a multiplicação das publicações e as revistas são, em grande parte, cúmplices.

Além disso, os periódicos não podem prescindir da revisão por pares (peer review) como um processo de aferição e controle da qualidade da produção. A despeito de uma série de críticas que sofre (CASSELLA, 2010; BOTOMÉ, 2011), a revisão por pares é tão antiga quanto a própria ciência moderna (AJAO, 1997; CASSELLA, 2010; RANALLI, 2011) e tem se consolidado como um mecanismo privilegiado da prática científica até os dias atuais. Wagner, Godlee e Jefferson (2002) defendem que a revisão por pares é algo inescapável na ciência para aqueles que desejam, em algum momento, ter seu trabalho publicado em uma revista científica, apresentá-lo em uma conferência ou receber algum tipo de subvenção. Ocorre que em muitos casos o trabalho dos revisores, que deveria ser de assessoria, complementar ao trabalho do editor, acaba se tornando a única forma de aferição da produção científica, conforme destaca Pine (2008, p. 897): ?em alguns aspectos, a tarefa de aplicar essas normas, repousa cada vez mais pesadamente sobre os ombros dos nossos colegas, que dão do seu tempo para fornecer revisão por pares?. Nesse sentido, o trabalho do editor pode se limitar à dimensão gerencial, com pouca densidade epistêmica, reduzido à tarefa de receber artigos, colher avaliações sobre os mesmos e garantir a publicação daquela cuja avaliação tenha sido favorável. O trabalho do editor está estreitamente vinculado ao trabalho do revisor, pois ?o que os editores esperam dos avaliadores é que avaliem com justiça, equilíbrio e clareza nos comentários, elaborando pareceres apresentando justificativas?, conforme esclarece Werlang (2013, p. 9), que realizou uma pesquisa com editores brasileiros com o objetivo de identificar o ?processo da gestão de avaliadores na consolidação das revistas científicas brasileiras? (p. 21); que também constatou em seu estudo que este é um trabalho voluntário e talvez por isso requeira melhor profissionalização. Para Mulligan, Hall e Raphael (2013), umas formas que poderia aprimorar a revisão por pares é a criação de incentivos como o pagamento e/ou o reconhecimento público do trabalho do revisor, que poderia gerar um encorajamento maior por parte de pesquisadores inclinados a realizar revisão por pares.

Ao refletir sobre o papel dos editores científicos, Kunsch (2004, p. 3) defende o termo ?editoração?, que segundo ele é ?preparar originais para publicação, não apenas tecnicamente, mas também quanto ao conteúdo [...] preparar os originais que compõem determinada edição ? cada original isoladamente, assim como todos os originais entre si?. Fica claro, portanto, que o papel do editor (como também dos revisores) é determinante para a configuração de uma política editorial consistente e coerente com aquilo que propõe a revista, como também, para a busca da qualidade da produção científica de modo geral. A importância e a responsabilidade do editor estão não somente na preservação dos interesses e das políticas editoriais de uma revista científica, mas também por ser ele, o editor, um agente de vigilância da qualidade do conhecimento científico de modo geral, compromisso que se imagina difícil de ser atendido. Por esse motivo, este trabalho buscou detectar o nível de dificuldade enfrentado por editores na realização da revisão por pares em periódicos científicos do Brasil, da Espanha e do México que tenham sido avaliados como de qualidade, bem como, o nível de preparação desses editores na realização dessas tarefas.

2 Metodologia

O desenvolvimento desta pesquisa se deu em quatro etapas. Na primeira realizou-se um estudo na literatura sobre o trabalho do editor de periódico, em especial, as dificuldades encontradas no processo de avaliação dos manuscritos recebidos.

A segunda etapa consistiu na identificação da população-alvo. Foram considerados participantes da pesquisa editores de periódicos avaliados como de qualidade no Brasil, na Espanha e no México. No caso brasileiro, foram selecionados entre os periódicos indexados pelo Scientific Electronic Library Online (Scielo) aqueles qualificados pelo Sistema Qualis-Periódicos da Capes como pertencente ao estrato Qualis A1 e A2 em alguma área do conhecimento[4]. Esse recorte fez com que o número inicial de 345 periódicos fosse reduzido para 187, assim distribuídos: 67 das Ciências da Vida, 14 das Ciências Puras, 25 das Ciências Sociais e 81 das Humanidades. No caso espanhol, foram considerados periódicos de qualidade aqueles que compuseram a lista de 191 revistas certificadas pela Fundación Española para la Ciencia y Tecnología (FECYT) com o selo de qualidade editorial, sendo 11 revistas de Ciências da Vida, 29 das Ciências Puras, 85 das Ciências Sociais e 66 das Humanidades. No caso mexicano, foram selecionadas revistas pertencentes ao Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del Conacyt no México, sendo 19 de Ciências da Vida, 32 de Ciências Puras, 50 de Ciências Sociais, 32 de Humanidades e 4 consideradas multidisciplinares. O agrupamento dos periódicos nessas quatro grandes áreas foi realizado pelos próprios editores, por meio da autodeclaração quando da resposta ao questionário.

TABELA 1
Taxa de envio e retorno dos questionários, por área de conhecimento e país

Fonte: dados da pesquisa * Apenas as respostas válidas foram contadas. Respostas ?Não se aplica? ou ?No opina?, foram excluídas dos cálculos. Isso ocorreu para as tarefas Promover a participação... (2 vezes Brasil; 2 vezes Espanha; 6 vezes México); Determinar o grau... (1 vez Espanha); Identificar conflitos... (1 vez México); Resolver conflitos... (1 vez México); Orientar os revisores ..(2 vezes Brasil; 2 vezes México) Resolver o destino ... (2 vezes Brasil; 8 vezes Espanha; 6 vezes México).

Áreas do conhecimento	Envio	Retorno	Retorno (%)		Envio	Retorno	Retorno (%)		Envio	Retorno	Retorno (%)
	Brasil				Espanha				México
Ciências da vida	67	13	19,4		11	5	45,5		19	7	36,8
Ciências Puras	14	3	21,4		28	2	7,1		32	8	25,0
Ciências Sociais	25	13	52,0		84	27	32,1		50	19	38,0
Humanidades	81	11	13,6		66	12	18,2		32	9	28,1
Multidisciplinares	-	-	-		-	-	-		4	0	0,0
Total	187	40	21,4		189	46	24,3		137	43	31,4

Como pode ser observado na Tabela 1 acima, as taxas de retorno dos respondentes variaram entre 21,4% no caso brasileiro e 31,4% no caso mexicano, embora tenha havido semelhança no número de respondentes dos três países participantes da pesquisa (Brasil, 40; Espanha, 46; México, 43). Em relação à composição da amostra de editores brasileiros, predominaram editores de Ciências Sociais e no caso espanhol, editores da área de Ciências da Vida. No caso mexicano há um certo equilíbrio entre Ciências da Vida e Ciências Sociais de um lado e Ciências Puras e Humanidades de outro.

A terceira etapa consistiu na elaboração e aplicação de um questionário composto de onze questões fechadas e uma aberta. O questionário foi elaborado a partir da Escala Visual Analógica (EVA) para dor (Visual Analogue Scale - VAS) ? muito utilizada na área médica para aferir a intensidade da dor em pacientes atendidos em hospitais, prontos-socorros etc. (MARTINEZ; GRASSI; MARQUES, 2011) ? que buscou verificar o nível de dificuldade dos editores na realização das tarefas que compõem a gestão de um periódico científico. O questionário foi enviado em dois momentos: no período de 16 a 20 de fevereiro de 2015 para editores brasileiros e para metade do universo de editores espanhóis, e de 27 de maio a 1º de junho de 2015 para editores mexicanos e a outra metade dos editores espanhóis das revistas que compõem a lista FECYT. Com onze níveis, a escala parte de zero, nenhuma dificuldade, até dez, dificuldade máxima na realização da tarefa.

A avaliação das dificuldades dos editores considerou, inicialmente, oito tarefas principais: a) realização da avaliação dos manuscritos antes do envio para a revisão pelos pares; b) identificação de revisores especialistas e preparados para realizar a avaliação dos manuscritos; c) promoção da participação do Conselho Editorial na seleção dos manuscritos antes da submissão à revisão pelos pares; d) determinação do grau de originalidade do manuscrito apresentado; e) identificação de conflitos de interesse na escolha dos revisores; f) resolução de conflitos entre revisores (quando há recomendações divergentes acerca do manuscrito); g) orientação dos revisores quanto ao tipo de análise que interessa ao periódico; h) decisão sobre o destino de manuscritos que ficaram sem avaliadores. Embora sejam atividades frequentes na gestão de periódicos, não correspondem à totalidade de tarefas que realizam os editores. Por isso, foi introduzida uma questão aberta, em que os respondentes poderiam complementar suas respostas ou expressar suas opiniões sobre o tema. Um pré-teste, aplicado a cinco editores de periódicos, permitiu confirmar a adequação das oito tarefas incluídas no questionário ao trabalho de editores.

Por último procedeu-se o envio do questionário aos editores e ao tratamento estatístico descritivo dos dados gerados por esse instrumento.

Para a descrição dos dados obtidos por meio das questões fechadas do questionário, optou-se pelo cálculo da média aritmética das respostas e do desvio-padrão em cada variável, de forma a se ter uma ideia da dispersão das respostas. Foi construída primeiramente uma tabela que reúne todas as respostas obtidas de editores de cada país, sem identificação das áreas dos periódicos, mas com identificação do país. Posteriormente foram tratadas cada uma das questões, com identificação das áreas e país, permitindo comparação entre áreas e entre países.

A análise da questão aberta, voltada para identificação de outras dificuldades na gestão de periódicos constou, primeiramente, de um processo de categorização, que permitiu identificar outros aspectos relacionados às tarefas inicialmente apresentadas. O questionário, convertido em formulário eletrônico, teve seu link enviado aos editores que compuseram a amostra dos três países, por e-mail, para o endereço indicado na própria página Web de cada revista.

3 Resultados e Discussão

Os resultados são apresentados em dois blocos. Primeiramente são apresentados os resultados obtidos nas respostas dos editores de cada país, sem separação das áreas em que atuam. Em seguida, esses resultados são desdobrados por área. Nesta segunda parte, cada pergunta é considerada separadamente. Nesta seção são também apresentados os comentários dos editores, informados nas questões abertas do questionário e o resultado da questão que verificou o nível de preparo dos editores nas atividades que realiza no âmbito de um periódico.

3.1 Resultados gerais para os três países

A Tabela 2, logo a seguir, apresenta os resultados obtidos para as oito perguntas, compilados a partir da média das respostas obtidas dos editores dos três países, separadamente, sem identificação da área de conhecimento. A coluna desvio padrão foi adicionada para mostrar a dispersão das respostas. Como se pode notar, os desvios padrão são altos, indicando que houve pouco consenso quanto ao nível de dificuldade entre os respondentes. Por outro lado, nota-se muita semelhança entre as médias obtidas em cada uma das tarefas.

TABELA 2
Níveis de dificuldade dos editores na gestão de periódicos - média por país

Fonte: dados da pesquisa * Apenas as respostas válidas foram contadas. Respostas ?Não se aplica? ou ?No opina?, foram excluídas dos cálculos. Isso ocorreu para as tarefas Promover a participação... (2 vezes Brasil; 2 vezes Espanha; 6 vezes México); Determinar o grau... (1 vez Espanha); Identificar conflitos... (1 vez México); Resolver conflitos... (1 vez México); Orientar os revisores ..(2 vezes Brasil; 2 vezes México) Resolver o destino ... (2 vezes Brasil; 8 vezes Espanha; 6 vezes México).

Tarefas		Média	Desvio padrão		Média	Desvio padrão		Média	Desvio padrão
		Brasil (n=40) *			Espanha (n=46)*			México (n=43) *
Realizar a avaliação dos manuscritos antes do envio para a revisão pelos pares		4,3	2,94		4,43	2,47		5,20	2,98
Encontrar revisores especialistas e preparados para realizar a avaliação dos manuscritos		7,2	2,4		7,17	2,12		7,91	2,11
Promover a participação do Conselho Editorial na seleção dos manuscritos antes da submissão à revisão pelos pares		5,53	3,33		4,95	2,73		6,57	3,15
Determinar o grau de originalidade do manuscrito apresentado		5,88	2,97		5,27	2,51		5,68	3,21
Identificar conflitos de interesse na escolha dos revisores		4,51	3,19		4,76	2,92		5,63	3,30
Resolver conflitos entre revisores (quando há recomendações divergentes acerca do manuscrito)		4,95	3,1		6,02	2,76		5,67	2,85
Orientar os revisores quanto ao tipo de análise que interessa ao periódico		5,16	3,09		4,24	2,68		4,93	3,06
Resolver o destino de manuscritos que ficaram sem avaliadores		6,55	3,12		5,08	3,41		6,00	3,16

Em quatro das oito tarefas propostas no questionário, a média das respostas dos editores mexicanos ficou acima da média das respostas dos editores brasileiros e espanhóis, indicando níveis de dificuldades um pouco maiores. Em três tarefas, editores brasileiros apresentaram médias de respostas maiores que mexicanos e espanhóis. A única tarefa na qual os editores espanhóis apresentaram médias maiores que de seus colegas brasileiros e mexicanos foi Resolver conflitos entre revisores (quando há recomendações divergentes acerca do manuscrito). A diferença, no entanto, é pequena, de 1,07 pontos com o Brasil e de 0,37 com o México, mas o desvio padrão é elevado. Essa questão será mais detalhada na análise das respostas em cada área. Outro ponto que se nota, é que a maioria das médias se situa entre os pontos 4 e 6 da escala de dificuldade, com apenas uma das tarefas chegando ao nível 7, tanto para os editores brasileiros quanto para os espanhois e os mexicanos.

3.2 Avaliação dos manuscritos antes do envio para a revisão pelos pares

A avaliação dos manuscritos, antes do envio para a revisão por pares, é uma atividade que compete ao editor, mas pode também ser realizada por editores associados, membros do conselho editorial ou órgão equivalente, se a revista possuir. É uma etapa importante, já que essa primeira avaliação afere o interesse editorial, a qualidade geral do manuscrito e o grau de contribuição do trabalho.

TABELA 3
Nível de dificuldade na avaliação dos manuscritos antes do envio para a revisão por pares segundo editores, por país e área do conhecimento.

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	13	3,46	3,26		3	5,96	2,25		13	4,69	3,75		11	4,45	1,04
Espanha	5	2,8	2,49		2	2,5	0,71		27	5,15	2,05		12	3,83	3,04
México	7	5,14	3,02		8	5,25	2,66		19	5,21	2,76		9	5,67	3,87

De acordo com a Tabela 3, as médias das respostas obtidas dos editores brasileiros, espanhóis e mexicanos das quatro grandes áreas para a tarefa ?Avaliação dos manuscritos antes do envio para a revisão pelos pares? se situaram entre 2,5 e 5,96, indicando, portanto, níveis de dificuldade baixo a moderado. Não houve abstenção nessa resposta. As médias registradas mostram semelhança entre as respostas obtidas em Brasil, Espanha e México em Ciências Sociais e Brasil e Espanha em Humanidades e Ciências da Vida e Brasil e México em Ciências Puras. Com exceção das Ciências Puras, as médias mexicanas são sempre mais altas que as brasileiras e espanholas, indicando que os editores mexicanos sentem mais dificuldade de cumprir essa tarefa que seus colegas brasileiros e espanhóis. No entanto, se verificarmos o desvio padrão (DP) para cada média, podemos notar que são mais elevados para as médias brasileiras e mexicanas e menos elevados para as médias espanholas, com exceção das Humanidades, em que o DP é mais elevado para as médias espanholas e mexicanas. Isso indica que houve mais dispersão ou falta de consenso entre os editores brasileiros e mexicanos das Ciências da Vida, Ciências Puras e Ciências Sociais em relação à dificuldade da tarefa do que entre seus colegas espanhóis para as mesmas áreas. A média das respostas dos editores mexicanos foi semelhante em todas as áreas, mas a variação das respostas foi alta, com DP registrado entre 2,66 em Ciências Puras e 3,87 em Humanidades.

3.3 Identificação de revisores especialistas para a avaliação dos manuscritos.

Como a revisão de artigos deve ser realizada por pares ou especialistas no tema de que trata o trabalho analisado (TERÁN, 2011), identificar o pesquisador mais apropriado para este trabalho reflete na qualidade do periódico. Isso requer do editor amplo domínio de sua área do conhecimento para que possa encontrar, entre as especialidades e os temas que compõem o escopo do periódico, aqueles em que está situado cada trabalho. Talvez por isso tenha sido uma tarefa considerada difícil por editores de periódicos do Brasil e da Espanha nesta pesquisa. Os resultados mostram médias relativamente altas, entre 6,58 e 8,38 na escala de dificuldades onde o nível 10 indica o ponto mais alto. Com exceção de Ciências da Vida, em que editores brasileiros apresentaram níveis de dificuldades mais elevados, nas demais áreas foram editores mexicanos que apresentaram os níveis de dificuldades mais elevados. Entre os editores mexicanos, aqueles ligados às Puras e às Humanidades registraram os níveis mais altos, enquanto editores espanhóis das Humanidades e brasileiros de Ciências Sociais e Puras e mexicanos de Ciências da Vida registraram as médias mais baixas nesta tarefa, 6.58, 6,62 e 6,67 e 6,71, respectivamente. Os desvios padrão para as médias obtidas indicam ter havido um grau de consenso maior que o registrado na tarefa ?Avaliação dos manuscritos antes do envio para a revisão pelos pares?.

TABELA 4
Nível da dificuldade para encontrar revisores especialistas para realizar avaliação dos manuscritos, segundo editores, por país e área do conhecimento

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon	Media	DVA		Respon	Media	DVA		Respon	Media	DVA		Respon	Media	DVA
	dentes				dentes				dentes				dentes
Brasil	13	7,38	2,69		3	6,67	1,53		13	6,62	2,69		11	7,82	1,89
Espanha	5	7,2	1,92		2	7,5	0,71		27	7,41	2,21		12	6,58	2,23
México	7	6,71	2,69		8	8,38	2,13		19	7,89	1,94		9	8,22	1,99

Alguns editores utilizaram o espaço fornecido pelas perguntas abertas para comentar essa tarefa. O editor de um periódico brasileiro da área de Ciências da Vida comentou que a dificuldade em encontrar revisores pode ser explicada pelo fato de que

Não existe um reconhecimento dos revisores pelas agências CAPES e outras. Isso não motiva os revisores a fazer revisões, pois eles são especialistas conceituados, mas são muito ocupados. Preferem dar prioridade a seus outros trabalhos (Editor de periódico brasileiro da área de Ciências da Vida)

A mesma realidade aparece no caso de periódicos espanhóis de Humanidades. Um editor relatou haver ?dificuldade para cobrir todos os subcampos de especialização em todas as combinações linguísticas da área de tradução e interpretação? dos manuscritos (Editor de periódico espanhol da área de humanidades). Outro aspecto ligado à dificuldade em encontrar revisores para realização da avaliação de artigos de periódicos, relatada por um editor de periódico espanhol da área de Humanidades, é a dificuldade em manter um quadro permanente de revisores, já que ?quase todos os avaliadores estão dispostos na primeira vez que são solicitados, mas com o tempo, ficam cansados? e não mais aceitam participar do periódico como avaliadores. Para um editor mexicano de Ciências Sociais a experiência do revisor não é considerada um fator que facilita a avaliação, pois segundo ele,

é melhor não solicitar pareceres a colegas ?consagrados? (ou que se consideram a si mesmos desta forma), porque ou não respondem às solicitações de avaliação ou as avaliações que fazem são superficiais e pouco sérias. O contrário acontece com os colegas jovens que, inclusive, consideram uma honra serem lembrados como revisores.

Apesar dessa crítica focalizar a experiência, parece que o problema está mais ligado ao acúmulo de responsabilidades do pesquisador do que seu tempo e prestígio dentro de sua área.

3.4 Promoção da participação do Conselho Editorial na seleção dos manuscritos antes da submissão à revisão pelos pares

O Conselho Editorial é um órgão composto por um grupo de pesquisadores que, em geral, dá suporte ao editor nas decisões mais importantes a serem tomadas para a constituição das políticas editoriais do periódico. Em editorial publicado na revista Radiologia Brasileira Marchiori (2001, p. 5) afirma que participar de um conselho editorial é, para um pesquisador, o ?reconhecimento à sua capacidade técnica e científica, qualificando-o para avaliar criticamente os trabalhos enviados para a revista, sendo o seu parecer o maior parâmetro para a seleção do que deve ser publicado?. Poder contar com um grupo de pesquisadores para auxiliar o editor no trabalho de editoração, ou seja, na avaliação dos manuscritos e na composição de cada número da revista pode significar também um fator importante de qualidade.

A Tabela 5 exibe os resultados obtidos em resposta à pergunta sobre a dificuldade em desempenhar essa tarefa. Houve nove abstenções, duas entre editores brasileiros (Ciências Puras e Ciências Sociais), três entre editores espanhóis (Ciências da Vida, Ciências Sociais e Humanidades) e quatro entre editores mexicanos (Ciências da Vida e Ciências Sociais). As médias indicando dificuldade ficaram acima de 5 para todas as áreas, com quatro exceções, Ciência da Vida nas respostas de editores brasileiros e mexicanos, Ciências Puras e Humanidades para editores espanhóis. Ciências Sociais foi a área onde as respostas dos editores apresentaram maior semelhança, com todas as médias apresentando níveis acima de cinco pontos da escala. Com exceção de Ciências da Vida, as respostas dos editores espanhóis de todas as áreas mostraram níveis de dificuldade inferiores que seus colegas brasileiros e espanhóis. Os desvios padrão foram altos em todos os grupos de respondentes, com exceção de editores brasileiros e espanhóis de Ciências Puras, em que, em cada caso, somente dois retornaram o questionário.

TABELA 5
Nível da dificuldade para promover a participação do Conselho Editorial na seleção dos manuscritos antes da submissão à revisão pelos pares

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade * indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras					Ciências Sociais						Humanidades
País	Respon	Media	DP		Respon	Media		DP		Respon		Media	DP			Respon		Media	DP
	dentes				dentes					dentes						dentes
Brasil	13	4,69	3,57		2*	6,00		1		12*		6,50	3,85			11		5,36	3,07
Espanha	4*	7,25	3,56		2	2,50		0,71		26*		5,23	2,85			11*		3,91	2,81
México	6*	3,83	3,82		8	7,00		2,83		16***		6,69	3,64			9		7,89	2,62

A contribuição do editor associado, aquele que poderia auxiliar o editor principal no desempenho de sua tarefa, merece ser avaliada. Fatores como regularidade e atualização de uma revista podem ter forte relação com o trabalho desempenhado pelo conselho editorial de uma revista. Outra dificuldade é lidar com editores associados que não têm atuação rápida, que demoram muito para escolher e convidar revisores e para decidir. ?Como o trabalho dos editores associados é também voluntário (i.e., sem pagamento, como também o é o Editor-Chefe e como também é o trabalho dos revisores) às vezes fica difícil fazer uma cobrança mais direta do atraso das tarefas dos editores associados? (Editor de periódico brasileiro da área de Ciências da Vida).

3.5 Determinação do grau de originalidade do manuscrito apresentado

Editores de periódicos científicos podem não se considerar responsáveis pela tarefa de identificar o grau de originalidade de um manuscrito apresentado e, com isso, delegar esse trabalho aos avaliadores, mas, com certeza, são os mais interessados. A originalidade dos artigos publicados pode conferir prestígio à revista, gerando aumento de seu fator de impacto e de sua visibilidade. Originalidade em trabalho científico é neste artigo entendida conforme expressado por Miglioli (2012, p. 381), como um critério relacionado ?ao peso que exerce sobre conhecimentos contemporâneos e o potencial para novas ideias ou novas perspectivas sobre velhas ideias?. Nesse sentido, difere de ineditismo na medida em que este se refere àquele trabalho ?colocado pela primeira vez em um formato, um canal de comunicação e destinado a um grupo de leitores específicos ou em geral?, completa o autor.

Os dados da Tabela 6 evidenciam que a dificuldade em determinar o grau de originalidade do manuscrito apresentado tem níveis semelhantes para editores brasileiros, espanhóis e mexicanos de Ciências Sociais e Humanidades, mas esses níveis mostram-se diferenciados para de Ciências da Vida e Ciências Puras. De modo geral, determinar o grau de dificuldade do manuscrito recebido é uma tarefa de nível de dificuldade moderado para editores dos três países, onde a média das respostas girou em torno de 5 e 6 pontos da escala de dificuldades, excetuando o caso dos editores mexicanos de Ciências da Vida (2,71) e brasileiros de Ciências Puras (8,67), onde foram registrados os níveis mais altos.

TABELA 6
Nível da dificuldade para determinar o grau de originalidade do manuscrito apresentado

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

* indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	13	5,61	3,48		3	8,67	1,53		13	5,31	3,12		11	6,09	2,21
Espanha	5	5,00	3,24		2	5,00	0,00		26*	5,23	2,56		12	5,50	2,84
México	7	2,71	2,50		8	6,25	3,20		19	6,42	2,71		9	6,44	3,54

A comparação entre países mostrou que editores brasileiros e espanhóis de Ciências da Vida que compuseram a amostra apresentam maior nível de dificuldade que seus colegas mexicanos. Uma abstenção foi registrada entre editores espanhóis de Ciências Sociais. Editores espanhóis de Ciências Puras coincidiram em suas respostas, apresentando taxa zero de desvio padrão. Com exceção de editores brasileiros de Ciências Puras, nos demais casos, em geral, os desvios padrão foram altos, oscilando entre 2,21 para editores brasileiros de Ciências Puras e 3,54 para editores mexicanos de Humanidades.

3.6 Identificação de conflitos de interesse na escolha dos revisores

Conflitos de interesse ocorrem quando a avaliação do mérito de um determinado produto ou processo (científico, médico, educativo etc.) é afetada por interesses ilegítimos do avaliador, como as implicações de sua afinidade com o avaliado, seus eventuais ganhos financeiros com a aprovação ou reprovação daquilo que se avalia e outros (THOMPSON, 1993). Em muitas revistas, o avaliador é obrigado a declarar o desconhecimento de conflitos de interesse para a realização daquela avaliação. Mas também o próprio editor pode identificar tais conflitos antes mesmo de convidar os avaliadores para o trabalho de revisão.

A Tabela 7 mostra níveis de dificuldade para a tarefa ?Identificação de conflitos de interesses na escolha dos revisores? oscilando entre 3,92 (Ciências da Vida, Brasil) e 8,13 (Ciências Puras, México). Nesta tarefa, as respostas dos editores da área Ciências Puras apresentaram os maiores níveis de dificuldades e de Ciências da Vida os menores níveis observados na escala de zero a 10. Duas abstenções foram registradas, uma entre editores brasileiros de Ciências da Vida e outra entre mexicanos da área de Ciências Sociais.

TABELA 7
Nível de dificuldade na identificação de conflitos de interesses na escolha dos revisores

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade * indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	12*	3,92	3,55		3	6	3,46		13	4,15	3,05		11	5,18	3,12
Espanha	5	4,8	2,49		2	7	1,41		27	4,96	2,79		12	3,92	3,50
México	7	3,57	2,51		8	8,13	2,53		18*	5,89	2,91		9	5,00	4,30

Em todos os casos a variação entre as respostas foi alta, acima de dois pontos. Houve apenas um caso em que o desvio padrão não superou dois pontos: editores espanhóis de Ciências Puras, grupo esse que contou com apenas dois respondentes.

3.7 Resolução de conflitos na decisão dos revisores

Para o Guía de buenas prácticas para revistas académicas de acceso abierto (ROJAS; RIVERA, 2011), quando não há ?acordo na avaliação dos dois revisores, pode-se realizar o envio a um terceiro revisor que resolve a divergência, decidindo pela publicação ou pela recusa do artigo?. Mas também é possível que essa divergência seja resolvida pelo próprio editor.

As respostas sobre a tarefa de resolver conflitos na decisão dos revisores mostraram níveis de dificuldades semelhantes para editores de Ciências Sociais e Humanidades, isto é, mais altos para editores espanhóis, acima de 6 pontos da escala e mais baixos para mexicanos e brasileiros, conforme se observa na Tabela 8. A variação nas respostas foi expressiva em todos os casos.

TABELA 8
Nível de dificuldade na resolução de conflitos na decisão dos revisores

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

* indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	13	4,23	3,37		3	4,67	3,06		13	4,77	3,39		11	6,09	2,47
Espanha	5	4,8	2,95		2	6	2,83		27	6,19	2,92		12	6,17	3,01
México	7	5,86	2,19		8	6,25	3,28		18*	5,50	2,84		9	5,89	3,44

Editores mexicanos de Ciências da Vida e Ciências Puras apresentaram níveis de dificuldades mais elevados que brasileiros e espanhóis, apesar de que no segundo caso a diferença observada tenha sido pequena. Houve uma abstenção entre editores mexicanos de Ciências Sociais e na maioria dos casos a variação das respostas foi alta, acima ou perto de três pontos.

3.8 Orientação aos revisores quanto ao tipo de análise que interessa ao periódico

A tarefa de orientar os revisores quanto ao tipo de análise a ser realizada na revisão pelos pares compete ao editor e tem o objetivo de otimizar a avaliação do manuscrito, evitando retrabalho, com também promover o alinhamento da avaliação ao escopo da revista. É possível que essas diretrizes para avaliação estejam explicitadas na página da revista ou sejam enviadas exclusivamente aos avaliadores, mas de todo modo, trata-se de uma tarefa à qual o editor não pode se furtar.

TABELA 9
Nível de dificuldade na tarefa de orientar os revisores quanto ao tipo de análise que interessa ao periódico

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

* indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	12*	5,92	3,64		3	4,33	1,15		12*	5,5	3,5		11	4,18	2,89
Espanha	5	4,2	2,59		2	3,5	2,12		27	4,70	2,64		12	3,33	2,93
México	7	3,71	3,04		8	5,25	3,45		17**	5,18	2,69		9	5,56	4,07

Na Tabela 9, os valores que representam as médias na escala de dificuldades dos respondentes oscilaram entre 3,33 e 5,92, indicando que os editores consideram a tarefa de ?Orientar os revisores quanto ao tipo de análise que interessa ao periódico? de dificuldade baixa e moderada. As respostas dos editores espanhóis de Ciências Puras, Ciências Sociais e Humanidades foram as que apresentaram os menores níveis de dificuldades nessa tarefa. Nas respostas dos editores de Ciências da Vida, respondentes de nacionalidade brasileira apresentaram mais dificuldades do que espanhóis e estes do que os mexicanos. A área de Ciências Sociais foi a que apresentou a maior semelhança nas respostas sobre o nível de dificuldades entre editores brasileiros, espanhóis e mexicanos na tarefa de orientar os revisores quanto ao tipo de análise que interessa ao periódico.

Duas abstenções foram registradas entre editores brasileiros, sendo uma da área de Ciências da Vida e outra da área de Ciências Sociais e duas entre editores mexicanos da área de Ciências Sociais.

A taxa de variação das respostas foi alta em todos os casos, com exceção dos três respondentes brasileiros de Ciências Puras. O maior desvio padrão foi observado em respondentes mexicanos da área de Humanidades.

3.9 Resolução do destino de manuscritos que ficaram sem avaliadores

A avaliação do revisor sobre o destino do manuscrito é o principal embasamento para a tomada de decisão por parte do editor. Essa é a principal função da revisão pelos pares: fornecer um parâmetro sobre a qualidade do manuscrito para que o editor tenha mais segurança na decisão final acerca da publicação do manuscrito. Entretanto, se não foi possível submeter o manuscrito à revisão pelos pares o editor deve decidir sobre seu destino.

TABELA 10
Nível da dificuldade em resolver o destino de manuscritos que ficaram sem avaliadores

Fonte: dados da pesquisa Legenda: 0 = nenhuma dificuldade; 10 = muita dificuldade

* indica uma abstenção

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon	Media	DP		Respon	Media	DP		Respon	Media	DP		Respon	Media	DP
	dentes				dentes				dentes				dentes
Brasil	13	6,08	3,68		3	8	1		12*	6,58	3,15		10*	6,7	3,83
Espanha	3**	7,67	4,28		2	2,00	1,41		24***	5,17	3,61		9***	4,67	3,90
México	7	6,43	2,99		6**	7,83	2,04		15****	5,20	3,70		9	5,89	3,59

Conforme se nota na Tabela 10, os níveis de dificuldades registrados para a tarefa de ?Resolver o destino de manuscrito que ficaram sem avaliadores? na escala de dificuldades variaram entre 2,00 e 8, mas a maior parte das médias apresentou níveis entre 5 e 6 pontos da escala de dificuldades. Excetuando o caso das respostas dos dois editores espanhóis de Ciências Puras, que apresentaram a mais baixa média de dificuldades, as médias mais altas ficaram com Ciências Puras, seguidas de Ciências da Vida, Ciências Sociais e Humanidades. Chama a atenção o considerável número de respondentes que se abstiveram dessa pergunta quando submetidos ao questionário, o que poderia ser interpretado como indicador da dificuldade da questão ou da não ocorrência da tarefa. Entre os editores brasileiros, dois se abstiveram, sendo um de Ciências Sociais e outro de Humanidades. Entre os espanhóis, foram oito, sendo dois de Ciências da Vida, três de Ciências Sociais e três de Humanidades. Por outro lado, o consenso em relação ao nível de dificuldade nessa tarefa foi muito baixo, exceto para Ciências Puras que registrou o menor desvio padrão entre as respostas dos três países.

3.10 Nível de preparo dos editores na gestão de periódicos

Embora os níveis de dificuldades dos editores verificados a partir da escala terem sidos significativos na maioria das tarefas, as respostas relacionadas ao nível de preparação dos mesmos respondentes na realização das tarefas que competem aos editores reportaram taxas elevadas para todas as áreas, variando entre 6,6 e 9,5 pontos da mesma escala de onze níveis utilizada para aferir a dificuldade. Para a aferição do nível de preparo na realização das atividades que competem ao editor na gestão de um periódico, foi considerada a mesma escala, sendo que o nível zero indica nenhum preparo e nível 10 muito preparo.

TABELA 11
Nível de preparação dos editores na realização das tarefas do periódico

Fonte: dados da pesquisa Legenda: 0 = nenhuma preparo; 10 = muito preparo * indica uma abstençã

Área de conhecimento	Ciências da Vida				Ciências Puras				Ciências Sociais				Humanidades
País	Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP		Respon dentes	Média	DP
Brasil	13	7,15	2,94		3	8	0		12*	8,42	2,65		11	7	1,9
Espanha	5	6,6	3,78		2	9,5	0,71		27	8,59	1,05		12	7,92	2,02
México	7	8,00	0,82		8	8,13	2,10		19	8,95	0,85		9	9,11	0,78

Em Ciências Sociais houve uma grande coincidência da resposta dos três países. Com exceção das respostas de editores espanhóis de Ciências da Vida, em todos os casos a média do nível de preparação na realização das tarefas que lhes competem no âmbito de um periódico foi acima de sete, indicando que editores de diferentes nacionalidades e áreas do conhecimento se sentem bastante preparados para o trabalho. A variação das respostas foi expressiva em editores brasileiros e espanhóis de Ciências da Vida e editores brasileiros de Ciências Sociais. Nos demais casos houve maior homogeneidade nas respostas, com desvio padrão abaixo de um ponto nas respostas de editores mexicanos de Ciências da Vida e editores brasileiros espanhóis de Ciências Puras e editores mexicanos de Ciências Sociais e Humanidades.

A importância da preparação do editor para realização das tarefas que lhe compete em um periódico foi confirmada nas respostas abertas do questionário e estão relacionadas com as dificuldades que enfrentam, pois o que se espera é que editores mais preparados tenham menos dificuldades. Essa preparação envolve tanto aspectos técnicos, quantos científicos, conforme se observa na resposta de um editor brasileiro de Ciências da Vida: ?a editoração científica requer investimento constate do editor na busca de novos conhecimentos científicos e editoriais referentes principalmente a gestão editorial, uso de tecnologias, cientometria etc.?. Há também quem considere que essa preparação deve envolver aspectos mais gerais como a ?atualização constante sobre comunicação científica? (Editor brasileiro de Ciências Puras).

Nas respostas abertas do questionário, editores brasileiros de Ciências Sociais ressaltaram a necessidade de atualização do editor face às transformações que ocorrem no universo do periódico científico, uma vez que o ?ambiente editorial e de comunicação científica tem suas próprias complexidades e particularidades, em grande maioria desconhecidas de editores que estão iniciando sua carreira como tais, e que são percebidas e compreendidas a duras penas na rotina da função" (Editor brasileiro de Ciências Sociais). Para outro editor brasileiro de Ciências Sociais, ?a tarefa do editor tem se transformado de forma significativa nos últimos anos, acompanhando uma mudança mais ampla das revistas científicas, dos meios de difusão de conhecimento e da própria dinâmica das ciências sociais?. Além dessas mudanças, o acesso aberto às publicações pode ter imposto exigências de atualização constante aos editores que enfrentam tais desafios junto às grandes editoras empresariais internacionais, ?pelo que tem se tornado conveniente que os editores de revistas públicas obtenham mutuamente colaboração e apoio? (Editor mexicano, Ciências Sociais).

Na percepção de um editor espanhol da área de Humanidades, é preciso ter domínio dos aspectos tecnológicos que atingem, principalmente, as revistas digitais. A preocupação deste editor, por exemplo, é ?como atualizar o sistema informático da revista quando se torna obsoleto, pois desconheço como fazer e dependo do conhecimento de alguém alheio à revista que tem conhecimentos necessários para realizar? (Editor de periódico espanhol da área de Humanidades).

4 Conclusões

A edição de um periódico científico envolve um conjunto expressivo de tarefas e dificuldades cuja totalidade esta pesquisa não teve a pretensão de esgotar. Ainda assim, os resultados alcançados por este estudo, embora não generalizáveis, foram significativos no sentido de evidenciar fluxos de tarefas que competem ao editor no processo de revisão por pares e os níveis de dificuldades por eles enfrentadas na realização de tais tarefas. A coincidência entre as respostas de editores brasileiros, espanhóis e mexicanos em cada uma das tarefas revela que no processo de revisão por pares editores desses países enfrentam os mesmos desafios.

Além disso, com a criação por diferentes países de mecanismos para aferir a qualidade dos periódicos, o resultado, inevitavelmente, tem sido um processo de ranqueamento e competição entre as revistas reservando o título de excelência a uns poucos bem avaliados, como ocorre com a Lista Qualis da Capes no Brasil, El listado definitivo de calidad editorial y científica da FECYT, na Espanha e o Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del Conacyt no México. Dentre as tarefas levantadas, aquela considerada mais difícil pelos respondentes, isto é, determinar qual é o revisor adequado para cada revisão, possui estreita relação com a qualidade da revisão por pares e, portanto, com a melhoria da qualidade do manuscrito. Consequentemente, essa melhoria será refletida na própria qualidade do periódico, aumentando com isso seu impacto e prestígio.

A dificuldade na tarefa de resolver o destino dos manuscritos que ficaram sem avaliador e a mais elevada taxa de abstenção, evidenciam a relevância dada por editores à revisão por pares na edição de periódicos. Essa importância se confirma ainda mais quando se nota a recusa de editores em responder a essa tarefa, evidenciando que a revisão por pares ainda é um instrumento que permanece privilegiado para certificação do conhecimento científico.

A natureza voluntária do trabalho de membros de conselho editorial e dos revisores é um aspecto que esta pesquisa realçou. A demora no retorno dos pedidos de avaliação e no envio do parecer avaliativo ao editor e até mesmo a não reposta às solicitações, justificam, na percepção dos editores, as limitações do processo de revisão por pares. Mobilizar o conselho editorial e o corpo de revisores para um trabalho mais atuante pode ser um desafio enorme para editores de revistas científicas. Se houver pressão, pesquisadores podem desertar da tarefa. Se o editor principal apenas aguarda pacientemente o retorno de cada membro do conselho das tarefas distribuídas, isso pode resultar em atraso no periódico, fator esse que reflete no nível de qualidade do mesmo. O equilíbrio pode depender tanto de capacidade técnica quanto de habilidade política.

A constatação de que, apesar dos editores considerarem as atividades relacionadas à revisão por pares como difíceis ou moderadas e ainda assim se declararem preparados evidencia não haver, necessariamente, uma relação direta entre preparação e dificuldade. Ou seja, estar mais preparado para as tarefas relacionadas à edição de um periódico, sobretudo tarefas ligadas à revisão por pares, não se reflete diretamente no nível de dificuldade da mesma. Por outro lado, os níveis de dificuldades sim, podem justificar ações que refletem na preparação do editor para melhor desempenho de sua tarefa no processo de revisão por pares.

Gratidão

* O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior ? CAPES/Brasil. Processo nº BEX 10.209/14-0

Referencias

AJAO, O. G. Peer review and refereeing in medicine and medical sciences. Saudi journal ofgastroenterology: official journal of the Saudi Gastroenterology Association, v. 3, n. 3, p. 107?112, 1997. Disponível em: http://www.saudijgastro.com/text.asp?1997/3/3/107/33917. Acesso em: 17 agosto 2015

BOTOMÉ, S. P. Avaliação entre pares na ciência e na academia: aspectos clandestinos de um julgamento nem sempre científico, acadêmico ou de avaliação. Psicologia USP, v. 22, n. 2, p. 335?356, 2011. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-65642011000200003&lng=pt&nrm=iso. Acesso em: 10 agosto 2015

CASSELLA, M. Social peer-review e scienze umane, ovvero ?della qualità nella Repubblica della scienza?. JLIS.it, v. 1, n. 1, p. 111?132, 2010. Disponível em: dialnet.unirioja.es/descarga/articulo/3990325.pdf. Acesso em: 12 jul. 2013.

GOLLOGLY, L.; MOMEN, H. Ethical dilemmas in scientific publication: pitfalls and solutions for editors. Revista de Saude Publica, v. 40, n. SPEC. ISS., p. 24?29, 2006. Disponível em: http://www.ncbi.nlm.nih.gov/pubmed/16924299. Acesso em: 4 maio. 2013.

KUNSCH, W. L. O editor científico. Revista Acadêmica do Grupo Comunicacional de São Bernardo, 2004. Disponível em: www.metodista.br/unesco/GCSB/index.htm. Acesso em: 12 set. 2013.

MARCHIORI, E. O papel do corpo editorial. Radiologia Brasileira, v. 34, n. 4, p. 5?5, 2001. Disponível em: http://www.scielo.br/pdf/rb/v34n4/11241.pdf. Acesso em: 28 ago. 2015.

MARTINEZ, J. E.; GRASSI, D. C.; MARQUES, L. G. Análise da aplicabilidade de três instrumentos de avaliação de dor em distintas unidades de atendimento: ambulatório, enfermaria e urgência. Revista Brasileira de Reumatologia, v. 51, n. 4, p. 304?308, 2011. Disponível em: www.scielo.br/pdf/rbr/v51n4/v51n4a02.pdf. Acesso em: 4 jun. 2015.

MIGLIOLI, S. Originalidade e ineditismo como requisitos de submissão aos periódicos científicos em Ciência da Informação. Liinc em Revista, v. 8, n. 2, p. 378?388, 2012. Disponível em: http://revista.ibict.br/liinc/index.php/liinc/article/view/493. Acesso em: 7 mar. 2015.

MULLIGAN, A.; HALL, L.; RAPHAEL, E. Peer review in a changing world: an international study measuring the attitudes of researchers. Jornal of the American Society for Information Science and Tecnology, v. 64, n. 1, p. 132?161, 2013. Disponível em: 10.1002/asi.22798. Acesso em: 23 maio. 2015.

PINE, D. S. Editorial: The difficulties and privileges of the editor. Journal of Child Psychology and Psychiatry and Allied Disciplines, v. 49, n. 9, p. 897?899, 2008. Disponível em: http://www.ncbi.nlm.nih.gov/pubmed/18759937. Acesso em: 17 set. 2014.

RANALLI, B. T. A prehistory of peer review: religious blueprints from the hartlib circle. Spontaneous Generations: a Journal for the History and Philosophy of Science, v. 5, n. 1, p. 12?18, 2011. Disponível em: jps.library.utoronto.ca/index.php/SpontaneousGenerations ISSN. Acesso em: 22 jul. 2013.

ROJAS, V. M. A.; RIVERA, M. S. Guía de buenas prácticas para revistas académicas de acceso abierto. Santiago do Chile: Ong Derechos Digitales, 2011.

SERRA, F. A. R.; FIATES, G. G.; FERREIRA, M. P. Publicar é difícil ou faltam competências? O desafio de pesquisar e publicar em revistas científicas na visão de editores e revisores internacionais. RAM. Revista de Administração Mackenzie, v. 9, n. 4, p. 32?55, 2008. Disponível em: www.globadvantage.ipleiria.pt. Acesso em: 29 jan. 2015.

TERÁN, C. M. R. Aspectos éticos de las comunicaciones científicas. Galícia Clínica, v. 72, n. 4, p. 169?179, 2011. Disponível em: http://www.galiciaclinica.info/PDF/15/261.pdf. Acesso em: 19 jul. 2015.

THOMPSON, D. F. Understanding financial conflicts of interest. The New England journal of medicine, v. 329, n. 8, p. 573?576, 1993. Disponível em: http://www.interessenkonflikte.de/x1993Thompson.pdf. Acesso em: 9 maio. 2015.

WAGNER, E.; GODLEE, F.; JEFFERSON, T. How to survive peer review. London: BMJ Books, 2002.

WERLANG, E. Revisão por pares: um estudo da gestão de avaliadores. 2013. Universidade Federal de Santa Catarina, 2013. Disponível em: https://repositorio.ufsc.br/bitstream/handle/123456789/107272/319565.pdf?sequence=1. Acesso em: 11 ago. 2015.

ZIMAN, J. A comunicação inequívoca. In: O conhecimento confiável: uma exploração dos fundamentos para a crença na ciência. Campinas: Papirus, 1996.

Notas

Autor notes