Por Lilian Nassi-Calò
Foto: SciELO.
A avaliação por pares, um dos pilares que sustenta a comunicação científica, foi pela primeira vez proposta em 1831 por William Whewell à Royal Society de Londres, ao sugerir que uma comissão de eminentes acadêmicos redigisse relatos sobre os artigos enviados para publicação no periódico Philosophical Transactions. Whewell argumentou que estes relatos frequentemente “poderiam ser mais interessantes do que os próprios artigos” e ademais, os autores seriam gratos pelo fato de que seus artigos seriam cuidadosamente revisados por ao menos dois ou três especialistas. O precursor do sistema de arbitragem pelos pares, entretanto, não tinha por objetivo prevenir a publicação de artigos de má qualidade ou propor a criação de um sistema para embasar decisões sobre a publicação. Ele estava, na verdade, buscando aumentar a visibilidade da ciência na sociedade e atribuir uma identidade ao empreendimento científico no Reino Unido, que enfrentava escassez de recursos e de reconhecimento público.
A receptividade da comunidade científica na época não foi das melhores, inicialmente. Foi necessário cerca de uma década para que o sistema de arbitragem fosse aceito e reconhecido, não sem antes enfrentar a ira dos autores: “cheios de inveja, ódio, malícia e falta de caridade, escondidos em alguma câmara secreta, este judiciário científico se utiliza da proteção do anonimato para promover seus interesses pessoais – talvez através de atos de pirataria indetectáveis – em detrimento de autores indefesos”1 (tradução do autor). Se bem que exacerbada, esta reação pode não ser incomum entre autores que tiveram seus artigos rejeitados por meio de pareceres duros.
Foi apenas no final do Século XIX que editores de periódicos adotaram a prática de arbitragem e os pareceristas foram incorporados à engrenagem da publicação científica como forma de assegurar a integridade da literatura acadêmica. Apesar de frequentes tentativas de eliminar “o verdadeiro esgoto lançado no puro fluxo da ciência”, as sociedades científicas do Reino Unido chegaram a considerar unificar seus aparatos científicos e criar um sistema padronizado para supervisionar toda a publicação científica. O plano, entretanto, não foi adiante, pois teria sido necessário arregimentar também editores de periódicos independentes. Não obstante, os pareceristas adquiriram, com o passar dos anos, o caráter de “gatekeepers“, ou guardiões da boa ciência.
Não escapou à análise de muitos, entretanto, de que todo o sistema de arbitragem fosse intrinsicamente falho e pudesse até mesmo impedir que ideias inovadoras fossem publicadas e que, em última análise, deveria ser abolido. Porém, todos sabemos que o sistema sobreviveu até o presente, porém não sem objeções, críticas e ressalvas.
A avaliação por pares passa hoje por um momento de transição e muitos acreditam que é necessário redefinir seus princípios e práticas para não retardar ou impedir o progresso da ciência. Neste sentido, surgiram recentemente alternativas ao modelo tradicional de arbitragem, que usualmente é fechado e mantém confidencial a identidade dos pareceristas (sistema simples-cego) e muitas vezes, também a dos autores (sistema duplo-cego). É interessante notar que desde 1833 prevaleciam os pareceres fechados e anônimos, pois não era considerado adequado ou cordial assinar uma crítica explícita a um colega, e ademais, os pareceres não eram considerados uma expressão pessoal, mas representavam a cátedra do seu autor.
Periódicos como Nature Communications, Peer J, BMJ e F1000Research oferecem atualmente aos autores a opção de avaliação por pares aberta, ou seja, os pareceres são publicados logo após o artigo, e com o consentimento dos pareceristas, também se publica seu nome e afiliação institucional. Um recente artigo na Nature avalia a crescente adoção desta modalidade de avaliação por pares, comparando-a com uma piscina gelada: “todos estão molhando os dedos, mas ainda estão relutantes quanto a mergulhar”2 (tradução do autor).
Na pesquisa realizada pela Nature Communications, 60% dos autores em 2016 autorizaram a publicação dos pareceres sobre seus artigos, o que levou o periódico a continuar a oferecer esta opção neste ano, sem, entretanto, torna-la obrigatória. Confirmando esta tendência está uma pesquisa ainda não publicada da Comissão Europeia, na qual mais da metade dos mais de três mil entrevistados entre autores, editores e publishers afirmaram que a avaliação por pares aberta deve ser adotada como rotina. Quando questionados se determinados aspectos iriam melhorar, piorar ou não teriam efeito na arbitragem por pares, os respondentes forneceram as seguintes opiniões: 65% afirmaram que discussão aberta entre autores e pareceristas melhoraria/melhoraria muito a avaliação por pares; 55% afirmaram que a publicação dos relatórios de avaliação melhoraria/melhoraria muito a avaliação por pares; 47% são de opinião de que permitir a postagem de comentários abertos ao final do artigo melhoraria/melhoraria muito a avaliação por pares; porém apenas 35% acreditam que a publicação de artigos online antes de passar por avaliação por pares formal melhoraria/melhoraria muito a avaliação por pares e não mais de 30% acham que revelar a identidade dos pareceristas melhoraria/melhoraria muito a avaliação por pares, ao passo que quase 50% acreditam que esta ação pioraria/pioraria muito o processo.
Os resultados da pesquisa, entretanto, são em grande parte influenciados pelo fato de que avaliação por pares aberta tem diferentes significados para diferentes pessoas, afirma Anthony Ross-Hellauer, cientista da informação da Universidade de Göttingen, Alemanha, coordenador do projeto OpenAIRE financiado pela Comissão Europeia. Enquanto alguns acham que se trata apenas de divulgar o nome dos pareceristas e não os relatos, outros acreditam que os relatos anônimos devem ser publicados, enquanto uma parcela dos entrevistados acredita que o processo deve ser totalmente aberto, inclusive com a participação de qualquer interessado. Diferentes disciplinas também têm comportamentos particulares. Na experiência da Nature Communications, 70% dos autores de artigos em ecologia e evolução, biologia molecular e ciências da terra optaram por revisões abertas, enquanto a área da física apresentou o menor percentual. Para uma comunidade familiarizada com o uso do arXiv, entretanto, se trata de um comportamento inesperado.
A prática de tornar públicos os relatos de pareceristas vem sendo consolidada nos últimos anos. Iniciativas como a Publons, e Hypothes.is, criadas em 2014 como start-ups, permitem a publicação de pareceres sobre artigos publicados, com o consentimento dos editores e autores. O publisher multinacional Elsevier publicou nos últimos dois anos pareceres abertos de cinco títulos de sua coleção, e pretende incluir novos títulos este ano.
Os defensores da avaliação aberta argumentam que atribuir responsabilidade aos pareceristas publicando seus relatos e, quando possível, sua identidade, torna o processo mais transparente e justo. Outros fazem ressalvas quanto à possível publicação de pareceres sem o devido conhecimento dos pareceristas, e se os relatos alcançariam a desejada atenção dos leitores. Joseph Tennant, paleontologista no Imperial College em Londres diz que é a primeira sessão do artigo que lê, depois do resumo, porém não se conhece a extensão de pesquisadores que fariam o mesmo.
Csiszar, em seu artigo na Nature, informa que o termo ‘peer-review’ vem dos procedimentos que agências públicas de fomento utilizavam para definir os outorgados de auxílios à pesquisa. Quando o sistema de revisão se tornou ‘avaliação pelos pares’, adquiriu um forte símbolo público de que a ciência tem mecanismos para se autorregulamentar e gerar consenso, mesmo sem a certeza se os pareceristas estão aptos a um empreendimento desta magnitude. Ele considera que o atual debate da comunidade científica em repensar a forma como a avaliação por pares é realizada considera inúmeros fatores, como a psicologia do viés, a questão da objetividade, a habilidade de avaliar confiabilidade e importância, porém raramente considera o histórico da instituição ‘peer review‘, que “não se desenvolveu apenas da necessidade dos cientistas de confiar na pesquisa de seus pares, foi também uma resposta à demanda política por responsabilidade pública. Entender que outras práticas de avaliação da ciência tiveram seu lugar deve ser parte de qualquer tentativa responsável no futuro.”1 (tradução do autor)
Notas
1 CSISZAR, A. Peer review: Troubled from the start. Nature. 2016, vol. 532, pp. 306–308. DOI: 10.1038/532306a
Referências
CSISZAR, A. Peer review: Troubled from the start.
Nature. 2016, vol. 532, pp. 306–308. DOI:
10.1038/532306a
Links externos
Sobre Lilian Nassi-Calò
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
