SOBRE
#Notícias

Pesquisadores preferem usar IA para revisar artigos antes da submissão

Levantamento indica que cientistas veem a IA como ferramenta para aperfeiçoar manuscritos, mas rejeitam sua adoção como substituta da revisão por pares humana

Pesquisadora analisa dados científicos diante de monitores que exibem imagens do cérebro. Ela faz anotações em uma prancheta. Pesquisadores demonstram abertura ao uso da inteligência artificial para avaliar e aperfeiçoar manuscritos antes da submissão, mas defendem que a tecnologia permaneça como apoio, e não substituta, da revisão por pares humana | Imagem: Shutterstock

Pesquisadores preferem utilizar a inteligência artificial (IA) como ferramenta de autoavaliação antes da submissão de seus manuscritos, mas não a veem como substituta dos humanos na revisão por pares, pelo menos no curto e médio prazo. É o que mostra um levantamento publicado em fevereiro na revista científica EMBO Reports.

No estudo, os autores convidaram cientistas cujos manuscritos haviam sido avaliados pela plataforma de revisão de preprints Review Commons, que realiza um processo de revisão por pares independente de periódicos científicos, sem tomar decisões editoriais de aceitação ou rejeição após a avaliação.

Em seguida, os participantes receberam, para comparação, uma revisão científica do mesmo manuscrito produzida por IA pela plataforma qed.

A qed analisa o conteúdo dos artigos para identificar suas principais afirmações científicas e possíveis lacunas nas evidências que as sustentam, sugerindo formas de corrigi-las, seja por meio de experimentos adicionais, ajustes textuais capazes de moderar ou reformular determinadas conclusões.

Os autores pediram então que os participantes comparassem as revisões humanas e as produzidas por IA com base em sete critérios de qualidade: capacidade crítica para identificar lacunas relevantes; nível de detalhamento dos aspectos abordados no trabalho; caráter construtivo das sugestões; profundidade na compreensão dos objetivos e da relevância da pesquisa; fundamentação das críticas com base em dados, figuras e literatura científica; clareza da redação; e uso de linguagem profissional e neutra.

Dos 408 autores convidados, 126 responderam ao menos parte do questionário. 

De modo geral, a revisão por pares realizada por humanos foi mais bem avaliada em aspectos ligados à compreensão científica e à capacidade de oferecer insights relevantes. 

As únicas exceções foram os critérios de clareza e cordialidade, nos quais pareceres produzidos por IA e por humanos apresentaram desempenho semelhante.

Em seguida, os pesquisadores pediram que os participantes avaliassem diferentes possibilidades de uso de revisões científicas baseadas em IA, podendo escolher até três opções de uma lista com nove alternativas. 

A preferida foi o uso da ferramenta pelos próprios autores para revisar e aperfeiçoar seus manuscritos antes da submissão aos periódicos científicos. A segunda possibilidade mais bem avaliada foi o uso da IA como ferramenta auxiliar para revisores humanos.

Limitações

Em contrapartida, houve pouca aceitação da ideia de periódicos científicos se basearem majoritariamente em revisões produzidas por inteligência artificial, mesmo sob supervisão editorial humana — embora os autores reconheçam que essa percepção possa variar de acordo com o perfil de cada revista científica. 

Da mesma forma, a possibilidade de revisar automaticamente todos os preprints em larga escala também não foi considerada uma alternativa atraente pelos participantes.

Uma limitação importante do levantamento é que os participantes sabiam a origem de cada parecer, o que significa que as respostas podem ter sido influenciadas por percepções prévias favoráveis ou desfavoráveis ao uso de inteligência artificial na pesquisa científica. 

O tamanho reduzido e o perfil específico da amostra também não permitem generalizações para toda a comunidade científica. Ainda assim, os resultados oferecem pistas importantes sobre tendências emergentes no uso de IA na revisão científica.

IA como ferramenta auxiliar

De modo geral, o levantamento aponta para uma abertura cautelosa dos participantes ao uso de IA como ferramenta auxiliar. Nos comentários abertos do questionário, as percepções sobre o papel da inteligência artificial no processo de revisão permaneceram ambivalentes. 

Alguns participantes disseram ter ficado surpresos com a capacidade de uma máquina “compreender” artigos científicos em um nível tão sofisticado.

Outros chegaram a considerar que, em determinadas situações, pareceres produzidos por IA poderiam superar aqueles elaborados por revisores humanos. 

Muitos participantes, no entanto, defenderam que revisões baseadas em IA devem permanecer sob supervisão humana e não substituir o modelo tradicional de revisão por pares. 

Também foram levantadas preocupações mais amplas, como o risco de perda da diversidade crítica proporcionada pelas diferentes experiências e formas de interpretação dos revisores humanos, além de uma possível “homogeneização progressiva” dos pareceres científicos.

Com base nas respostas do levantamento, os autores avaliam que a IA pode ajudar os cientistas a enfrentar alguns dos problemas atuais relacionados à publicação científica. 

“Embora ainda imperfeitos, esses sistemas apresentam vantagens interessantes: são extremamente rápidos, não competem com os pesquisadores, não se cansam, têm ‘paciência infinita’ e conseguem analisar figuras, materiais suplementares e verificar estatísticas de forma sistemática”, escreveram os autores. 

“Quando adequadamente projetados, também podem fornecer avaliações mais consistentes”, observaram.

Para que esses benefícios sejam aproveitados, contudo, o uso da IA na revisão científica deve seguir dois princípios centrais: foco no autor, isto é, utilizar a ferramenta para ajudar pesquisadores a aprimorar seus manuscritos, e transparência.

* É permitida a republicação das reportagens e artigos em meios digitais de acordo com a licença Creative Commons CC-BY-NC-ND.
O texto não deve ser editado e a autoria deve ser atribuída, incluindo a fonte (Science Arena).

Notícias

0 Comentários
Oldest
Newest Most Voted
Receba nossa newsletter

Newsletter

Receba nossos conteúdos por e-mail. Preencha os dados abaixo para assinar nossa newsletter

Captcha obrigatório
Seu e-mail foi cadastrado com sucesso!
Cadastre-se na Newsletter do Science Arena