Os limites do índice-h

Supervalorização do indicador que combina quantidade e qualidade da produção científica gera controvérsia

FABRÍCIO MARQUES | Edição 207 - Maio de 2013

No final do ano passado, a revista Chemistry World, editada pela Royal Society of Chemistry, do Reino Unido, decidiu parar de publicar um ranking on-line que era sucesso entre os leitores. Tratava-se da lista, atualizada algumas vezes por ano, com mais de 500 pesquisadores altamente produtivos na área de química, aqueles que ostentam no currículo um índice-h maior que 55. A decisão de suspender o ranking foi uma capitulação às críticas de que ele dava ênfase demasiada a um simples indicador de desempenho, sem levar em conta outros aspectos da produção científica, e poderia induzir universidades e agências de fomento a tomar decisões simplistas ou equivocadas. O índice-h de um pesquisador é definido como o maior número “h” de artigos científicos desse pesquisador que têm pelo menos o mesmo número “h” de citações cada um. O primeiro do ranking da Chemistry World era George Whitesides, da Universidade Harvard, com índice-h 169. Equivale a dizer que ele publicou pelo menos 169 artigos que obtiveram, cada um, ao menos 169 citações em outros trabalhos. Para ter um índice-h elevado, é preciso publicar artigos que repercutam na comunidade científica. Se um pesquisador publica muito, mas é pouco citado, ou se recebe muitas citações, mas num número restrito de artigos que publicou, terá um índice-h baixo.

O índice-h foi proposto em 2005 pelo físico argentino Jorge Hirsch, professor da Universidade da Califórnia, San Diego, como uma ferramenta capaz de combinar quantidade e qualidade de produção acadêmica. Logo tornou-se parâmetro em avaliações e cartão de visitas de pesquisadores com desempenho destacado, e extrapolou sua utilização para além do desempenho individual: hoje há rankings do índice-h de universidades, países e revistas científicas. Segundo Henry Schaefer, professor da Universidade da Geórgia, Atenas, nos Estados Unidos, e responsável pela compilação da lista da Chemistry World, as críticas surgiram desde a primeira edição do ranking em 2007 e nunca cessaram. “O problema não era com o índice-h em si, mas com o ranking que supervalorizava esse indicador”, explicou.

O episódio da Chemistry World é revelador das vantagens e mazelas do índice-h, uma medida que ganhou aplicação generalizada por seus méritos – é fácil de calcular, baseia-se em critérios objetivos e resume num único número a produtividade e a relevância do trabalho de um pesquisador. Simultaneamente, seu uso tornou-se alvo de críticas por não levar em conta suas limitações. O próprio Jorge Hirsch admite um problema importante. “Deve-se sempre ter em mente que pesquisas fora domainstream podem ser pouco citadas e subavaliadas por indicadores bibliométricos e merecem ser apoiadas financeiramente apesar disso”, afirmou à revista on-line Research Trends. “Um indicador bibliométrico deve ser sempre usado ao lado de outros indicadores, e com bom senso.”

Não se pode usar o índice-h para comparar pesquisadores em estágios diferentes da carreira – um pesquisador sênior com índice-h 100 na área de química pode orgulhar-se de ser extremamente produtivo, assim como um pesquisador jovem da mesma área que tenha um índice-h 30. Também é equivocado comparar o desempenho de pesquisadores de áreas diferentes. “Cada área tem um tamanho peculiar e tendências diferentes de citação”, explica Rogério Meneghini, coordenador científico da biblioteca SciELO Brasil. “Em bioquímica, por exemplo, há um número enorme de pesquisadores. Logo há mais artigos e mais gente citando. A regra é você trabalhar com as subáreas quando faz comparações”, afirma Meneghini, para quem, contudo, o índice-h é uma ferramenta valiosa, sobretudo nas ciências naturais. “Um índice-h elevado nessas áreas é um sinal de que o pesquisador fez coisas de impacto”, afirma.

Já em muitas disciplinas das humanidades a divulgação de resultados de pesquisa por meio de livros é tão importante quanto sua divulgação por meio de artigos em revistas indexadas, de modo que nelas o índice-h frequentemente diz pouco sobre o impacto real do trabalho de um pesquisador. “Nas humanidades, um índice numérico de avaliação de impacto é certamente algo a ser levado em conta, mas como um dos elementos de avaliação, entre outros. Desacompanhado de elementos de avaliação de natureza qualitativa, será só um número”, afirma Luiz Henrique Lopes dos Santos, coordenador adjunto de Ciências Humanas e Sociais da FAPESP. “Além disso, o impacto de uma publicação não se mede apenas por citações, mas também por muitas outras coisas, como sua contribuição para inovações tecnológicas ou para a formulação de políticas públicas, por exemplo.”

Virtude

O italiano Mauro Degli Esposti, professor da Universidade de Manchester, no Reino Unido, compilou recentemente uma lista de pesquisadores de todas as áreas com índice-h acima de 100, baseado nos dados do Google Acadêmico. Em seu ranking, com quase 200 nomes, aparecem pouquíssimos pesquisadores de ciências humanas ou sociais aplicadas, caso, por exemplo, do Nobel de Economia Joseph Stiglitz (índice-h 130) e do linguista Noam Chomsky (123), e predominância nos estratos mais altos de cientistas dos campos da medicina e da bioquímica (ver quadro). Não há correlação direta entre vencedores do Nobel e o topo na lista. Entre os 30 primeiros, há apenas quatro vencedores do Nobel e um ganhador da Medalha Fields, principal honraria dos jovens matemáticos. “A única virtude que vejo no índice-h é o fato de ser fácil de calcular”, critica George Matsas, professor do Instituto de Física Teórica da Universidade Estadual Paulista (Unesp). “Não há nenhum critério claro para se dizer o que é um índice-h alto ou baixo. Eu conjecturo que o h do Peter Higgs, do bóson de Higgs, ou de Kenneth Wilson, prêmio Nobel de Física de 1982, seria menor que o de vários outros dos quais nunca ouvimos falar”, diz.

Rogério Meneghini alerta para uma distorção importante no índice-h: a participação em redes que chegam a reunir 700 pesquisadores em estudos em física de partículas, astronomia ou novos medicamentos. “Seria uma decisão drástica, mas talvez fosse o caso de não considerar esse tipo de artigo no cálculo do índice-h. Seus resultados são importantes, mas não é possível medir a real participação de cada autor”, afirma. Nada contra a participação em redes de colaboração internacional, observa Meneghini. “Temos muitos pesquisadores brasileiros que participam continuamente de redes de 20 ou 30 cientistas de vários países e mantêm colaborações sólidas com gente do MIT, da Inglaterra ou da França. Isso é um sinal de qualidade”, observa.

Assessores e membros das Coordenações de Área da FAPESP utilizam o índice-h de pesquisadores como parâmetro auxiliar na avaliação da qualidade do conjunto de artigos, mas a FAPESP não abre mão dos pareceres extensivos de assessores e da análise qualitativa para selecionar as melhores propostas. “O fundamental, na nossa avaliação, é a qualidade do projeto de pesquisa”, diz Wagner Caradori do Amaral, professor da Faculdade de Engenharia Elétrica e de Computação (FEEC) da Universidade Estadual de Campinas (Unicamp), e coordenador adjunto da Diretoria Científica da FAPESP na área de Ciências Exatas e Engenharias. “Se o projeto tiver qualidade e o proponente demonstrar potencial para realizá-lo, não é o índice-h que irá impedi-lo de receber financiamento”, afirma o coordenador adjunto José Roberto Postali Parra, professor da Escola Superior de Agricultura Luiz de Queiroz, da USP. “O índice-h é um dos parâmetros de observação, mas nunca é suficiente”, complementa Marie-Anne Van Sluys, professora do Instituto de Biociências da Universidade de São Paulo (USP) e coordenadora adjunta de Ciências da Vida. Segundo ela, a popularidade do índice-h ajudou a consolidar no Brasil a importância da divulgação de resultados em periódicos indexados. “Mas é preciso tomar cuidado para não criar um vício de números”, afirma. Mais importante do que o índice-h, diz Marie-Anne, é o contexto em que as publicações se inserem. “Existem citações que se referem a um ganho de tecnologia, outras que são de um ganho de conhecimento, outras de observação de um fenômeno. Dependendo do tipo de projeto apresentado, esse tipo de informação tem relevância específica na avaliação. E também é preciso ver como evoluiu o índice-h no contexto da carreira de um pesquisador. Se o impacto é resultante de um único artigo ou se trata de uma obra, é um dado importante”, afirma Marie-Anne.

Confiança

Para Carlos Eduardo Negrão, coordenador adjunto de Ciências da Vida, o índice-h é uma ferramenta para avaliar pesquisadores no campo da fisiologia e medicina, mas não pode ser visto de maneira isolada. “É um índice que ajuda qualificar o impacto dos estudos publicados por pesquisador e se ele se concentra em poucos ou vários trabalhos”, diz Negrão, que é professor da Escola de Educação Física e Esporte da USP e diretor da Unidade de Reabilitação Cardiovascular e Fisiologia do Exercício do Instituto do Coração (InCor). “É importante analisar também o impacto das revistas em que os artigos são publicados e consultar o Web of Knowledge, da Thomson Reuters, para verificar o número total de citações do pesquisador. É de interesse verificar também como o pesquisador é categorizado em nossa comunidade científica, isto é, o seu nível no CNPq. Esse conjunto me dá mais confiança de realizar uma avaliação justa.”

No caso dos projetos na área de ciências da computação, uma preocupação do coordenador adjunto em Ciências Exatas e Engenharias Roberto Marcondes Cesar Júnior, professor do Instituto de Matemática e Estatística da USP, é avaliar também a produção científica apresentada em certas conferências internacionais, caso, por exemplo, da International Conference on Computer Vision. “O uso do índice-h em ciências da computação é semelhante ao das hard sciences, mas os melhores periódicos têm impacto similar aos dos artigos dessa conferência, que é indexada em bases internacionais”, afirma. Segundo ele, o índice-h é útil para medir o sucesso dos pesquisadores, as ligações que ele conseguiu fazer com outros grupos e o impacto de sua pesquisa. “Mas o que importa é sempre o projeto. As ideias são mais importantes do que os números”, diz.

Um efeito colateral importante da adoção disseminada do índice-h – assim como de outros indicadores baseados em citações de artigos científicos – é que ele começa a exercer influência sobre a cultura de publicação de várias áreas do conhecimento no Brasil. Num estudo divulgado em 2011, Rogério Mugnaini, professor da Escola de Artes, Ciências e Humanidades da USP, e sua aluna de mestrado Denise Peres Sales mapearam o uso de índices de citação e indicadores bibliométricos na avaliação científica brasileira. Observaram que o índice-h é usado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) como um dos critérios para definir o estrato mais alto de revistas científicas em diversas áreas, no sistema Qualis. Essas publicações têm um peso maior na avaliação de grupos de pesquisa feita pela Capes e, por isso, acabam se tornando um alvo preferencial de seus pesquisadores.

No caso da odontologia, só são admitidos no estrato 1-A periódicos com índi-ce-h igual ou superior a 52. Em enfermagem, estão no estrato 1-A periódicos com índice-h de pelo menos 15. Em administração, o limite é um índice-h de 5. O índice-h dos periódicos é fornecido pelas bases Web of Science e Scopus, que adotaram a metodologia de Hirsch para avaliar a produção e o impacto de revistas – uma publicação com índice-h 50 é aquela que teve pelo menos 50 artigos com pelo menos 50 citações num determinado período. Um achado importante do estudo de Mugnaini é a larga utilização de índices de citação (JCR), notadamente o fator de impacto (FI), na avaliação da maioria das áreas. O FI é uma medida que reflete o número médio de citações de artigos científicos publicados em determinado periódico. Os valores do FI vão de 0,5 para áreas como geografia, administração, ciências contábeis e turismo até 6, caso da astronomia. Ciências biológicas exigem fator de impacto superior a 4; medicina, 3,8; ciências agrárias, 2; engenharias, entre 0,8 e 1; matemática, 0,95.

Amadurecimento

“A utilização generalizada de índices de citação inclui áreas de menor tradição de publicação em periódicos internacionais, como ciências humanas e ciências sociais aplicadas, que apesar de não se basearem num indicador exigem a indexação dos periódicos nos índices internacionais”, diz Mugnaini. “A Capes desempenha um papel fenomenal com o sistema Qualis, por envolver pesquisadores do país todo e zelar pela qualidade da pós-graduação. Mas acaba dizendo para as áreas: o objetivo é todo mundo publicar em revistas de fator de impacto internacional”, afirma. Segundo ele, o que ocorre em algumas áreas é a aceleração de um processo de amadurecimento, com pesquisadores tentando publicar cada vez mais em revistas de alto impacto. Em outros casos, contudo, não se trata de uma evolução natural. “Não dá para esperar que a sociologia venha a apresentar um processo de internacionalização igual ao da física. Paralelamente, é necessário haver mecanismos que permitam olhar uma revista nacional, publicada em português, e dizer: essa revista é boa. Não serão a citação e o índice-h que darão esse parâmetro”, diz.

Um artigo publicado em julho de 2012 na revista Perspectivas em Ciências da Informação fez uma análise comparada entre a produção científica de bolsistas de produtividade do CNPq nos níveis 1-A e 1-B, que estão no topo da escala, em quatro diferentes campos do conhecimento – e observou o que pode ser uma mudança de comportamento nas ciências humanas. O estudo, assinado por Ricardo Arcanjo de Lima, Lea Velho e Leandro Innocentini Lopes de Faria, mostrou que em física e em genética, áreas nas quais há comunidades consolidadas e habituadas a publicar em revistas internacionais, havia uma correlação entre o índice-h dos pesquisadores e seu status acadêmico. No caso da física, a média do índice-h para os bolsistas nível 1-A foi de 13 e nos de 1-B de 11. Já em genética, a média do índice-h para os bolsistas nível 1-A foi de 15 e nos de 1-B de 11. Em ciências agrárias, a média para os bolsistas nível 1-A foi de 7 e nos de 1-B de 6. Um dado que suscitou surpresa foi o resultado na área de sociologia. “Esperávamos um índice-h zero, pois a prática de publicação passa longe do modelo das revistas internacionais, com clara preferência de publicação em livros”, diz Arcanjo, que é analista da Embrapa e concluiu no ano passado doutorado em política científica e tecnológica na Unicamp. O índice-h foi igual a zero entre os pesquisadores 1-A, mas chegou a 1 na categoria 1-B, que reúne pesquisadores mais jovens. “A pressão sobre os pesquisadores pode estar mudando práticas da disciplina no Brasil”, afirma.

Para Rogério Meneghini, o caso das humanidades evidencia a pressão crescente para disponibilizar o conhecimento. “O dinamismo da produção científica hoje é outro”, afirma. Ele observa, contudo, que a dificuldade de publicar em revistas internacionais está gerando um crescimento exagerado de periódicos no campo das humanidades no país. “Como o número de cursos de pós-graduação em humanidades cresce numa velocidade mais rápida que em outras áreas, está havendo esse fenômeno do aumento descontrolado de periódicos no Brasil. O país tem hoje cerca de 5 mil periódicos. Entre as revistas que solicitam inclusão na biblioteca SciELO, a proporção das humanidades chega a 80%”, diz Meneghini.

Link:

http://revistapesquisa.fapesp.br/2013/05/14/os-limites-do-indice-h/