22.10.2024 Integridade Científica

Para aumentar a confiabilidade na pesquisa

Malte Elson, da Universidade de Berna (Suíça), fala sobre iniciativa que paga revisores para identificarem erros em artigos influentes

Moura Leite Netto

Ser um mecanismo capaz de detectar e corrigir sistematicamente erros em artigos científicos após a publicação. É com esta proposta que foi lançado neste ano o projeto-piloto Estimating the Reliability & Robustness of Research (ERROR), uma iniciativa com sede na Universidade de Berna, na Suíça. O objetivo é remunerar especialistas dedicados a procurar erros em papers influentes.

Assim como ocorre na indústria de tecnologia, que recruta programadores para testar a vulnerabilidade de seus produtos, o ERROR busca fazer o mesmo com artigos acadêmicos que tenham recebido ao menos 30 citações por ano desde sua publicação.

O ERROR oferece aos revisores o pagamento de mil francos suíços (cerca de US$ 1,1 mil) por artigo, com um bônus para cada erro encontrado. Para a revisão ocorrer, há a necessidade de concordância dos autores, que também são remunerados pelo aceite e bonificados na ausência de erros.

Em entrevista ao Science Arena, o coordenador do programa, o psicólogo Malte Elson, da Universidade de Berna, fala sobre os primeiros passos do ERROR, a confiabilidade da iniciativa e o sistema de remuneração de autores e revisores.

Science Arena – O que motivou a criação do projeto ERROR e quais são seus objetivos?

Malte Elson – Uma das finalidades da ciência é descobrir verdades (sobre o universo, os seres humanos, os elementos químicos, o que quiser). Neste contexto, é estranho que a ciência não tenha realmente um mecanismo formal para detectar e corrigir erros após a publicação. A revisão por pares não foi projetada, propositalmente, para detectar erros.

Os revisores muitas vezes não têm acesso a mais detalhes ou materiais da pesquisa (como dados brutos, códigos etc.) do que outros leitores. E mesmo que tivessem, é bastante concebível que muitas vezes não teriam tempo para se aprofundar.

Outras profissões, particularmente na indústria de tecnologia, têm usado ‘recompensas por bugs’ há décadas, nas quais freelancers são pagos para divulgar falhas críticas em produtos, como códigos ou hardwares. É mais barato pagar pela detecção de erros do que não o fazer.

O ERROR foi lançado em fevereiro de 2024. Existe uma percepção inicial?

Temos cerca de 15 artigos em revisão, dos quais um tem ciclo de revisão concluído, em que um revisor encontrou pequenos erros. Esses erros não afetaram materialmente as conclusões do artigo, mas o autor, Jan Wessel, está em contato com a revista sobre uma possível correção, o que é muito louvável.

No geral, a recepção do ERROR tem sido muito positiva, mas é claro que ainda não sabemos se a comunidade aceitaria um programa como o ERROR.

Aprender sobre a aceitação de um mecanismo de detecção sistemática de erros, seja na forma de recompensas ou não, é um dos objetivos do ERROR.

Inicialmente, quantos revisores fazem parte do projeto e qual é o perfil deles?

Temos financiamento para fazer pelo menos 100 revisões de erros ao longo de quatro anos. Começaremos nas áreas de psicologia e ciências sociais e comportamentais mais amplas. Depois, partiremos para a medicina e, possivelmente, outras áreas do conhecimento.

Precisaremos de revisores com experiências e habilidades muito diversas e que compartilham algumas características. As pessoas com maior sucesso na detecção de erros são provavelmente curiosas por natureza. Elas têm que abordar os materiais que analisam, como procedimentos, códigos de computador ou dados, de uma maneira diferente – pensando no que provavelmente poderia ter dado errado.

Frequentemente, elas também terão habilidades técnicas para ler o código de outra pessoa ou compreender análises estatísticas que nem sempre são meticulosamente documentadas.

Quais são os critérios de seleção dos artigos?

Revisaremos apenas artigos que atingiram um certo nível de “importância”. A lógica aqui é novamente a do uso eficiente dos recursos. É claro que nenhum artigo científico deveria conter erros. Nosso pensamento é que erros em artigos importantes, que acumulam bastante citações, podem ter consequências para grande parte da literatura e sua descoberta tem maior prioridade.

Agora, definir ou medir a importância não é trivial. Nesta fase inicial do ERROR nós usamos uma regra muito simples: os artigos precisam de pelo menos 30 citações por ano desde a sua publicação.

O fato de os autores que concordam em ter seus artigos examinados receberem incentivos financeiros poderia se configurar um viés científico?

É claro que qualquer novo incentivo cria oportunidades para preconceitos. Estamos bem cientes disso, mas acreditamos que os benefícios de incentivar a detecção de erros superam os riscos. No ERROR, tentamos contrariar potenciais preconceitos através da implementação de um sistema transparente de freios e contrapesos.

Mais importante ainda, não é o revisor quem decide se algo detectado constitui um erro ou não. Em vez disso, os revisores elaboram um relatório no qual descrevem a sua preocupação. Os autores têm a oportunidade de responder e, em seguida, o “recomendador” (análogo à ação dos editores na revisão por pares de periódicos) avalia os argumentos de ambas as partes para decidir o que seria apropriado. As revisões de erros, bem como as respostas dos autores, são publicadas juntas em nosso site, incluindo quaisquer dados ou códigos gerados como parte da revisão.

Qualquer pessoa pode verificá-los se suspeitar que o revisor cometeu um erro ou se não detectou um erro no artigo que foi designado para revisar.

Poderemos, se necessário, fazer ajustes. Este é um balão de ensaio, não uma implementação mundial de um sistema comprovado.

Qual é a expectativa quanto à aceitação dos autores em ter seus artigos examinados pelos revisores do projeto?

Penso que é seguro assumir que os tipos de autores que concordam em participar do ERROR são diferentes dos autores que não o fazem. Eles podem ter certas características de personalidade ou talvez já tenham maior estabilidade no emprego. Talvez trabalhem em um laboratório onde a abertura e a crítica construtiva já façam parte de suas rotinas.

Além disso, talvez aqueles que já suspeitam que o seu trabalho não resistiria a um exame minucioso por um revisor especialista estejam menos inclinados a participar. O ERROR não tem como objetivo fornecer uma estimativa da “verdadeira” taxa de erros em artigos científicos.

Em vez disso, ele foi projetado para testar se um modelo de detecção de erros funcionaria em princípio e se vale a pena os custos.

* É permitida a republicação das reportagens e artigos em meios digitais de acordo com a licença Creative Commons CC-BY-NC-ND.
O texto não deve ser editado e a autoria deve ser atribuída, incluindo a fonte (Science Arena).