Um estudo conduzido na Universidade de Bielefeld, na Alemanha, publicado na Scientometrics em novembro, apresenta uma nova abordagem nova para combater o chamado viés de prestígio na avaliação científica, também conhecido como Efeito Mateus – em que autores proeminentes e periódicos de alto impacto recebem mais citações independentemente da qualidade real do conteúdo.

A partir de modelos estatísticos, os autores da pesquisa demonstram a viabilidade de realizar previsões de citações utilizando exclusivamente características observáveis dos manuscritos disponíveis no estágio de submissão de um processo de revisão por pares “duplo-cega”. 

No modelo duplo-cego, os avaliadores de um trabalho ou projeto (cuja identidade é mantida em segredo mesmo após a publicação) desconhecem o nome e a afiliação dos autores do manuscrito que estão analisando – podendo, assim, mitigar a influência do prestígio associado aos autores.

De acordo com o estudo, variáveis estruturais presentes no momento da submissão — como tipo de estudo, atualidade das referências, extensão do texto e idioma — ajudam a explicar parte da variação futura nas citações de um artigo.

A pesquisa questiona um pilar central da avaliação científica: a ideia de que o número de citações reflete diretamente a qualidade. Na cientometria, área que estuda a produção e o impacto da ciência com base em análises quantitativas, a qualidade costuma ser associada à relevância do tema, força das evidências, novidade, desenho e metodologia. 

Ainda assim, fatores não científicos também podem moldar o alcance de um estudo.

Eles também ressaltam que medir a produção científica pelo número de citações não é satisfatório, já que há ceticismo significativo na própria cientometria sobre se citações capturam realmente o impacto científico. 

Por isso, defendem o desenvolvimento de métricas mais isentas, capazes de fazer uma separação entre o mérito científico e a influência causada pelo prestígio de autores e periódicos. 

Informações sobre o estudo publicado na revista Scientometrics

Como o Efeito Mateus influencia a ciência

O ponto de partida do estudo é um problema estrutural conhecido como Efeito Mateus, segundo o qual “os ricos ficam mais ricos e os pobres ficam mais pobres”. O conceito foi formulado por Robert K. Merton e Harriet Zuckerman em 1968 a partir de uma passagem do Evangelho de Mateus, livro da Bíblia.

Na ciência, essa lógica significa que artigos escritos por pesquisadores renomados, ou publicados em periódicos de alto prestígio, recebem mais atenção e citações independentemente da qualidade intrínseca. 

É um mecanismo de vantagem cumulativa: quem já é visto continua sendo visto; quem começa invisível tende a permanecer à margem.

Esse padrão tem efeitos diretos no financiamento científico. Como métricas de impacto são usadas para distribuir bolsas, promoções e posições, o Efeito Mateus influencia a alocação de recursos. Pesquisadores já reconhecidos, muitas vezes identificados pelo número de citações, recebem mais convites, mais oportunidades, mais recursos e mais tempo para pesquisar.

Modelo preditivo baseado em milhões de artigos

Para mitigar o Efeito Mateus, os autores desenvolveram modelos estatísticos capazes de estimar parte do impacto futuro de um artigo usando apenas informações disponíveis na fase de submissão, quando os revisores ainda não conhecem os autores. 

As variáveis incluídas são estruturais e temáticas, extraídas diretamente do manuscrito: tipo de estudo, composição temática, atualidade das referências, idioma, extensão e outras características formais. Nenhum dado ligado a prestígio, redes de colaboração ou histórico profissional é incorporado.

A abordagem foi aplicada a um conjunto de mais de 14 milhões de artigos biomédicos indexados no PubMed, combinando métodos estatísticos clássicos e técnicas de aprendizado de máquina. 

Os modelos apresentaram desempenho consistente, indicando que uma parcela significativa da variação nas citações pode ser explicada por fatores intrínsecos ao texto, antes da publicação e independentemente de quem assina o artigo ou da revista onde será publicado.

Impacto científico pode ser estimado sem prestígio

Os resultados mostram que elementos como a proporção de termos associados a determinadas áreas, a densidade e a atualidade da bibliografia citada, o tipo de publicação, a extensão do texto e até o idioma têm influência quantificável no impacto subsequente. 

Isso indica que o prestígio, embora influente, não é o único fator que determina o comportamento das citações. Parte relevante do impacto pode ser estimada a partir de características do próprio manuscrito.

“Ao mitigar vieses relacionados ao prestígio, as citações previstas obtidas pelos métodos estatísticos propostos oferecem uma avaliação mais objetiva da produção científica”, escrevem os autores. 

Segundo eles, previsões neutras poderiam servir como contrapeso a métricas tradicionais usadas por agências de fomento, periódicos e universidades, reduzindo o peso excessivo do prestígio na análise de manuscritos e projetos.

Limites e possibilidades de uma métrica neutra

Os autores destacam que os resultados refletem exclusivamente a biomedicina, área com grande disponibilidade de dados e práticas consolidadas de revisão duplo-cega. Em outras disciplinas, dinâmicas de citação e padrões de visibilidade podem funcionar de modo distinto.

Eles também reconhecem que variáveis importantes, como estilo de escrita, organização argumentativa ou qualidade narrativa, ainda não foram incorporadas aos modelos. 

Além disso, alertam que remover completamente sinais de prestígio pode acabar apagando indícios legítimos de qualidade que tendem a acompanhar a reputação, como histórico de rigor metodológico. Isso torna a distinção entre mérito e vantagem cumulativa um desafio.

Apesar das limitações, o estudo aponta direções promissoras para reduzir o peso do prestígio na avaliação científica. Os autores planejam incorporar análises estilísticas, recursos textuais mais sofisticados e novas técnicas de modelagem, além de aplicar a abordagem a outras áreas do conhecimento.

O objetivo final é desenvolver métricas capazes de identificar diretamente o Efeito Mateus e separar, com maior precisão, o impacto científico real do impacto impulsionado por redes de prestígio.

O post Como reduzir o peso do prestígio nas citações científicas? apareceu primeiro em Science Arena.