10.08.2023 Publicações

Caminhos para repensar a avaliação de artigos

Estudioso da comunicação científica, Peter Schulz, da Unicamp, fala dos desafios para tornar a revisão por pares mais aberta e transparente

Ricardo Muniz

Manuscritos selecionados para publicação em revistas científicas geralmente são submetidos a um crivo de qualidade bastante rigoroso. Esse processo de avaliação é conduzido por cientistas que atuam na mesma área de pesquisa dos autores e, por isso, é chamado de revisão por pares. Nessa etapa, espera-se que cientistas detentores de um conhecimento robusto em determinado assunto façam sugestões tendo em vista melhorar a qualidade dos trabalhos avaliados.

A revisão por pares tem, portanto, potencial de ser instrumento de aprendizado e aprimoramento dos manuscritos, mas não é isso que vem ocorrendo, na visão do físico Peter Schulz, professor titular da Faculdade de Ciências Aplicadas da Universidade Estadual de Campinas (Unicamp) e estudioso da comunicação científica. “Hoje a revisão por pares se restringe a recusar ou aceitar manuscritos para publicação. O diálogo entre revisores e autores foi sufocado e isso é terrível”, afirma Schulz, que foi secretário de Comunicação da Unicamp entre 2017 e 2021.

Ex-professor do Instituto de Física Gleb Wataghin da Unicamp, onde lecionou por duas décadas, Schulz tem se dedicado à cientometria, área que analisa aspectos quantitativos da ciência, e a iniciativas de divulgação científica, como sua coluna no Jornal da Unicamp.

Em entrevista ao Science Arena, Schulz argumenta que melhorias no processo de revisão por pares deveriam se inspirar no movimento da ciência aberta, que busca conferir maior transparência na atividade científica. “Na prática, uma revisão mais transparente significaria abrir os pareceres dos revisores para toda a comunidade. Dessa forma, a própria revisão por pares ficaria submetida a um crivo de qualidade, permitindo identificar problemas relacionados à sua integridade.”

O pesquisador reconhece, no entanto, que tal proposta encontra resistência, especialmente por parte das grandes editoras científicas.

Science Arena – Qual é a origem do processo de revisão por pares?

Peter Schulz – A publicação científica hoje, com revisão por pares, é uma construção que começou com a institucionalização da ciência moderna. Contudo, os primeiros artigos publicados em periódicos eram completamente diferentes do que há hoje. Havia muitos formatos de artigos que eram publicados em revistas consideradas científicas, como os Anais da Royal Society, do Reino Unido, ainda no século XVII.

Quem fazia as escolhas, as seleções, os comentários, aceitava e recusava manuscritos era exclusivamente o editor. Ocorre que, com o aumento do volume de artigos submetidos para publicação – e, consequentemente, do número de revistas –, foi se estabelecendo um corpo de editores a partir do final do século XVIII e início do XIX. Os membros desses grupos editoriais passaram a pedir ajuda e sugestões de colegas especialistas, a fim de auxiliar na curadoria dos manuscritos.

Quando esse processo se tornou um marcador de qualidade e legitimidade de publicações científicas?

A revisão por pares se consolidou como uma verdadeira instituição, a ponto de ser condição fundamental para que uma revista científica seja indexada em bases de dados internacionais. Esse “amadurecimento” ocorreu em meados do século XX, é bem recente. Até a década de 1940 havia periódicos que não contavam com revisão por pares, ou seja, o editor-chefe era quem decidia o que seria publicado.

Cabe perguntar quais motivos levaram à institucionalização da revisão por pares. O principal argumento por trás disso é que esse processo asseguraria a qualidade técnica do que é publicado. Na prática, porém, tornou-se um mecanismo de expansão da publicação científica. A revisão por pares permitiu agilizar o processo de publicação de papers, consolidando o mercado das grandes editoras comerciais, conhecidas por suas margens de lucro elevadas. Vale frisar que a revisão por pares é majoritariamente terceirizada: na maioria das vezes os revisores atuam voluntariamente.

Como a expansão quantitativa das publicações afetou a garantia de qualidade?

Um bom editor deve revisar as revisões feitas pelos pares. Isso significa verificar se a revisão teve rigor técnico, se foi consistente, se explicou de fato por que determinado manuscrito deve ou não ser aceito. Só que, como a quantidade de artigos não para de aumentar, o volume de trabalho também cresce. As decisões precisam ser rápidas, e isso afeta a qualidade da revisão. Então a decisão final, embora em tese ainda seja do editor, na prática cabe aos pareceristas fazer a seleção final dos manuscritos que serão publicados. Portanto, a questão central é: quem, agora, revisa a revisão por pares?

Poderia exemplificar?

No começo da minha carreira, era comum o revisor dar um parecer negativo. Eu rebatia a revisão defendendo meus argumentos e ele me respondia, e assim travávamos um diálogo. Essa dinâmica é cada vez mais rara. Recentemente, submeti um manuscrito e um revisor disse que o trabalho era “imprestável”, outro considerava o trabalho interessante, mas sugeria modificações. Respondi aos revisores, mas meu comentário não chegou a eles, parou no editor, que me alertou: “não é nossa política editorial alimentar discussões entre aqueles que submetem trabalhos e os revisores.” Esse tipo de coisa, cada vez mais comum, não ajuda a melhorar a qualidade da produção científica.

No passado, os revisores cumpriam um papel importante, de contribuir no aprimoramento do manuscrito. Hoje, o mecanismo de revisão por pares tem cada vez mais se restringido à tarefa ‘mecânica’ de aceitar ou recusar o manuscrito, como apenas mais uma etapa da linha de produção industrial de papers.

A revisão por pares poderia desempenhar uma função mais relevante na construção do conhecimento científico. Deixou de ser uma ferramenta de aprendizado para os autores, e isso é terrível. O diálogo entre revisores e autores foi sufocado.

Virou linha de produção sem um “selo de qualidade”, então?

As justificativas colocadas por pesquisadores são na linha de “preciso publicar muito para justificar o financiamento que recebi”. Isso está entranhado mesmo entre pesquisadores jovens, em início de carreira. Pergunto a colegas: “por que você coloca dez ou mais alunos de iniciação científica ou de mestrado trabalhando nos artigos?” A resposta que geralmente recebo é que precisam fazer isso para manter um nível alto de produção, a fim de justificar o financiamento que recebem de agências de fomento. Essa é uma cultura que se enraizou e aí você acaba fazendo muito mais do mesmo.

Por exemplo, em algumas áreas do conhecimento você encontra trabalhos que precisam ser feitos, mas cujos papers na verdade nada mais são do que relatórios técnicos. Essas publicações acabam recebendo status de artigos científicos, pois são divulgadas em revistas de prestígio, passam por revisão e estão indexadas em bases de dados internacionais.

No entanto, muitos desses artigos são uma pequena fração de uma pesquisa mais ampla. A esse fenômeno costumamos dar o nome de produção “salame”, e ocorre quando achados de um projeto científico são “fatiados” em vários resultados menores, originando uma série de papers. Nesses casos, o artigo científico acaba se tornando um fim em si mesmo.

Há como resolver isso?

Um dos caminhos possíveis é a ciência aberta, no sentido de tornar públicos e acessíveis estudos e dados de pesquisa a todos os segmentos da sociedade e da comunidade científica. Isso pode se dar por meio de repositórios criados por universidades e plataformas de preprints, que são papers ainda não revisados pelos pares.

É perfeitamente viável uma cultura de compartilhamento em que seu trabalho seja colocado em uma plataforma de ciência aberta, ficando sob o escrutínio de outros pesquisadores, que poderiam fazer comentários, objeções e citações. Na verdade, já existem muitas iniciativas que caminham nesse sentido, de estabelecer uma revisão por pares aberta e transparente.

Isso não exclui o trabalho convencional de pareceristas, apenas amplia o escopo da revisão por pares, criando mais condições para uma cultura colaborativa de construção do conhecimento. Contudo, colocar em prática iniciativas desse tipo dá trabalho e incomoda grandes grupos editoriais que ainda lucram com a publicação de estudos em sistemas de acesso fechado ou híbrido.

* É permitida a republicação das reportagens e artigos em meios digitais de acordo com a licença Creative Commons CC-BY-NC-ND.
O texto não deve ser editado e a autoria deve ser atribuída, incluindo a fonte (Science Arena).