09.12.2025 Cientometria

Como reduzir o peso do prestígio nas citações científicas?

Estudo aponta que características do manuscrito na submissão — e não o prestígio de autores ou revistas — explicam parte do impacto futuro de um artigo científico

Marília Marasciulo

Mesa com livros de medicina, modelos anatômicos, um raio-X de crânio e um estetoscópio, representando diferentes tipos de estudos biomédicos utilizados para analisar padrões de impacto científico

Normalmente, ao avaliar a produção científica para fins de financiamento, agências de fomento usam o número de citações como um indicador de qualidade. Ocorre que as citações recebidas por um ou uma cientista podem ser influenciadas por outros fatores que não o “mérito científico” em si.

Um estudo conduzido na Universidade de Bielefeld, na Alemanha, publicado na Scientometrics em novembro, apresenta uma nova abordagem nova para combater o chamado viés de prestígio na avaliação científica, também conhecido como Efeito Mateus – em que autores proeminentes e periódicos de alto impacto recebem mais citações independentemente da qualidade real do conteúdo.

A partir de modelos estatísticos, os autores da pesquisa demonstram a viabilidade de realizar previsões de citações utilizando exclusivamente características observáveis dos manuscritos disponíveis no estágio de submissão de um processo de revisão por pares “duplo-cega”.

No modelo duplo-cego, os avaliadores de um trabalho ou projeto (cuja identidade é mantida em segredo mesmo após a publicação) desconhecem o nome e a afiliação dos autores do manuscrito que estão analisando – podendo, assim, mitigar a influência do prestígio associado aos autores.

De acordo com o estudo, variáveis estruturais presentes no momento da submissão — como tipo de estudo, atualidade das referências, extensão do texto e idioma — ajudam a explicar parte da variação futura nas citações de um artigo.

A pesquisa questiona um pilar central da avaliação científica: a ideia de que o número de citações reflete diretamente a qualidade. Na cientometria, área que estuda a produção e o impacto da ciência com base em análises quantitativas, a qualidade costuma ser associada à relevância do tema, força das evidências, novidade, desenho e metodologia.

Ainda assim, fatores não científicos também podem moldar o alcance de um estudo.

Há “evidência crescente de que escolhas estilísticas, número de autores, vieses ligados a idioma e gênero e a disponibilidade do trabalho como preprint afetam o impacto”, escrevem os autores.

Eles também ressaltam que medir a produção científica pelo número de citações não é satisfatório, já que há ceticismo significativo na própria cientometria sobre se citações capturam realmente o impacto científico.

Por isso, defendem o desenvolvimento de métricas mais isentas, capazes de fazer uma separação entre o mérito científico e a influência causada pelo prestígio de autores e periódicos.

Informações sobre o estudo publicado na revista Scientometrics

1. Qual o objetivo principal do artigo?

O estudo investigou as consequências do chamado Efeito Mateus nas citações de publicações científicas e propôs uma abordagem para mitigar esse viés de prestígio.

2. O que é o Efeito Mateus?

O Efeito Mateus é um viés de prestígio nas citações de publicações científicas, em que autores proeminentes e periódicos de prestígio recebem mais citações independentemente do conteúdo científico real dos artigos.

3. Quais as consequências do Efeito Mateus?

Este fenômeno tem consequências na avaliação da contribuição dos trabalhos científicos. O Efeito Mateus, ao lado de fatores não científicos como autocitações ou manipulação estratégica de citações, complica a questão de saber se as citações refletem verdadeiramente o impacto científico de uma publicação.

4. Por que é importante mitigar o Efeito Mateus?

Mitigar as consequências do Efeito Mateus é considerado um passo importante para se obter uma medida mais neutra da produção científica. O artigo em questão (“Mitigating consequences of prestige in citations of publications”) propõe modelos estatísticos que buscam atenuar esse efeito ao excluir deliberadamente fatores relacionados a autores e periódicos, considerados fontes de viés.

5. Quais as principais recomendações do estudo?

• Financiamento Baseado em Qualidade Objetiva: Agências governamentais e organizações de pesquisa devem usar métodos mais objetivos para avaliar a produção científica, visando financiar a criação de conteúdo científico de alta qualidade, em vez de perpetuar o prestígio de autores ou periódicos.

• Avaliação Utilizando Variáveis Pré-Publicação: O potencial impacto dos artigos deve ser avaliado com base em características observáveis dos manuscritos disponíveis no estágio de submissão de um processo de revisão por pares duplo-cego. Essa abordagem permite realizar previsões de citações de forma eficaz, o que pode levar a avaliações mais justas no processo de revisão por pares.

• Construção de uma Medida Neutra de Impacto: A metodologia proposta deve ser utilizada como base para estabelecer uma medida mais neutra do impacto científico que seja ajustada e mitigada contra o viés de prestígio do Efeito Mateus.

• Prioridade ao Conteúdo Científico Real: Cientometristas devem considerar as consequências do Efeito Mateus se o objetivo for quantificar o conteúdo científico real das publicações em todas as áreas da ciência

Como o Efeito Mateus influencia a ciência

O ponto de partida do estudo é um problema estrutural conhecido como Efeito Mateus, segundo o qual “os ricos ficam mais ricos e os pobres ficam mais pobres”. O conceito foi formulado por Robert K. Merton e Harriet Zuckerman em 1968 a partir de uma passagem do Evangelho de Mateus, livro da Bíblia.

Na ciência, essa lógica significa que artigos escritos por pesquisadores renomados, ou publicados em periódicos de alto prestígio, recebem mais atenção e citações independentemente da qualidade intrínseca.

É um mecanismo de vantagem cumulativa: quem já é visto continua sendo visto; quem começa invisível tende a permanecer à margem.

“Consequentemente, as citações podem refletir elementos que não têm relação com o mérito científico, como visibilidade, influência de redes ou estratégias deliberadas para manipular o sistema”, escrevem os autores.

Esse padrão tem efeitos diretos no financiamento científico. Como métricas de impacto são usadas para distribuir bolsas, promoções e posições, o Efeito Mateus influencia a alocação de recursos. Pesquisadores já reconhecidos, muitas vezes identificados pelo número de citações, recebem mais convites, mais oportunidades, mais recursos e mais tempo para pesquisar.

Modelo preditivo baseado em milhões de artigos

Para mitigar o Efeito Mateus, os autores desenvolveram modelos estatísticos capazes de estimar parte do impacto futuro de um artigo usando apenas informações disponíveis na fase de submissão, quando os revisores ainda não conhecem os autores.

As variáveis incluídas são estruturais e temáticas, extraídas diretamente do manuscrito: tipo de estudo, composição temática, atualidade das referências, idioma, extensão e outras características formais. Nenhum dado ligado a prestígio, redes de colaboração ou histórico profissional é incorporado.

A abordagem foi aplicada a um conjunto de mais de 14 milhões de artigos biomédicos indexados no PubMed, combinando métodos estatísticos clássicos e técnicas de aprendizado de máquina.

Os modelos apresentaram desempenho consistente, indicando que uma parcela significativa da variação nas citações pode ser explicada por fatores intrínsecos ao texto, antes da publicação e independentemente de quem assina o artigo ou da revista onde será publicado.

Impacto científico pode ser estimado sem prestígio

Os resultados mostram que elementos como a proporção de termos associados a determinadas áreas, a densidade e a atualidade da bibliografia citada, o tipo de publicação, a extensão do texto e até o idioma têm influência quantificável no impacto subsequente.

Isso indica que o prestígio, embora influente, não é o único fator que determina o comportamento das citações. Parte relevante do impacto pode ser estimada a partir de características do próprio manuscrito.

“Ao mitigar vieses relacionados ao prestígio, as citações previstas obtidas pelos métodos estatísticos propostos oferecem uma avaliação mais objetiva da produção científica”, escrevem os autores.

Segundo eles, previsões neutras poderiam servir como contrapeso a métricas tradicionais usadas por agências de fomento, periódicos e universidades, reduzindo o peso excessivo do prestígio na análise de manuscritos e projetos.

Limites e possibilidades de uma métrica neutra

Os autores destacam que os resultados refletem exclusivamente a biomedicina, área com grande disponibilidade de dados e práticas consolidadas de revisão duplo-cega. Em outras disciplinas, dinâmicas de citação e padrões de visibilidade podem funcionar de modo distinto.

Eles também reconhecem que variáveis importantes, como estilo de escrita, organização argumentativa ou qualidade narrativa, ainda não foram incorporadas aos modelos.

Além disso, alertam que remover completamente sinais de prestígio pode acabar apagando indícios legítimos de qualidade que tendem a acompanhar a reputação, como histórico de rigor metodológico. Isso torna a distinção entre mérito e vantagem cumulativa um desafio.

Apesar das limitações, o estudo aponta direções promissoras para reduzir o peso do prestígio na avaliação científica. Os autores planejam incorporar análises estilísticas, recursos textuais mais sofisticados e novas técnicas de modelagem, além de aplicar a abordagem a outras áreas do conhecimento.

O objetivo final é desenvolver métricas capazes de identificar diretamente o Efeito Mateus e separar, com maior precisão, o impacto científico real do impacto impulsionado por redes de prestígio.

* É permitida a republicação das reportagens e artigos em meios digitais de acordo com a licença Creative Commons CC-BY-NC-ND.
O texto não deve ser editado e a autoria deve ser atribuída, incluindo a fonte (Science Arena).