indicadores de impacto e produtividade das publicações para a avaliação da atividade científica

Indicadores de impacto e produtividade das publicações para a avaliação da

atividade científica

Letícia StrehlProfa. do Departamento de Ciência da Informação

Faculdade de Biblioteconomia e Comunicação - UFRGS

Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010

Dilemas da avaliação da produção científica

Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?

Critérios de avaliação da produção científica (1):

O que é produzido?

Abordagem de problemas de caráter predominantemente nacional

(Produção Endógena)X

Tratamento de temáticas comuns aos interesses dos países desenvolvidos –

mainstream(Produção Exógena)

Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública,  São Paulo,  v. 30,  n. 1,  1996.

Critérios de avaliação da produção científica (2)

“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“

"Como se pode estudar isto?"

Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85

Quanto? Como?

Critérios de avaliação da produção científica (3):

Quanto é produzido?

Esta é fácil:Determina-se quantas publicações foram

escritas por um cientista em um dado momento!

Fácil... será?A questão deixa de ser trivial quando as

diferenças entre as áreas do conhecimento são examinadas.

Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em:http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm

Critérios de avaliação da produção científica (4):

Com que qualidade é produzido?

Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis

Indicadores de impacto(considerando, neste caso,

citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters)

e Índice H

Premissa dos indicadores de impacto

Trabalhos importantes são

freqüentemente citados na

literatura científica

Requisitos para o cálculo dos índices de impacto

Existência de bases de dados que indexem: uma quantidade representativa de

documentos; as referências citadas nas publicações.

Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico

Todavia...

Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!

Mesmo crescente, o número de periódicos nacionais nas bases é irrisório

2010 2009 2008 20070

50

100

150

200

250

300

350

200

129

6230

310

266

208

147Web of ScienceScopus

Implicações da limitação do escopo dessas bases

A valorização da competitividade, o impacto e a visibilidade internacionais

-Produção Exógena-

Todas as áreas são norteadas por estes valores?

Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais

O fator de impacto (FI)

Há décadas o principal indicador de visibilidade das publicações

Indicador criado em 1963 por Eugene

Garfield e Irving Sher

Publicado anualmente no Journal

Citation Reports (JCR)

O FI como critério de avaliação da produção científica

Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.

Como o FI é calculado?

Motivos do sucesso do FI como critério de avaliação da produção científica

Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais

Facilidade de compreensão “Robustez” (pequena variação de um

ano para outro) Rápida disponibilidade

Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.

Todavia...

a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável

Comparação de valores absolutos de FI de periódicos de diferentes áreas

Pelo menos dois fatores contribuem para as diferenças de FI

Oncologia Densidade dos artigos

Idade das citações

Matemática Densidade dos artigos

Idade das citações

Densidade e idade das citações da área de Construção

Densidade dos artigos

Idade das citações

Como o FI é calculado?

5 anos

2 anos

Variação dos valores médios de FI por área do conhecimento

AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

Corruptela do FI do periódico:o FI do autor

Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou

Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções

Surgimento do Índice H

Indicador de produtividade e impacto de um cientista

O que é o índice H

Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h

Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

Exemplo de índice H: Stephen Hawking

Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.

O sentido do Índice H

I H I H

++

ProdutivosCitados

+-

ProdutivosCitados

-+

ProdutivosCitados

--

ProdutivosCitados

Legenda:I= ImpactoH = Índice H Alto Baixo

Dificuldades do Índice H para comparação de desempenho dos cientistas

Padrões de citação distintos verificados nas diversas áreas

Artigos escritos em co-autoria Influência do tempo de atividade do

pesquisador

Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H

O índice H calculado com a Web of Science

Para visualizar como é obtido o índice H

Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H

Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)

Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)

O índice H da Scopus (1)

O índice H da Scopus (2)

O Google Acadêmico (GA) com uma alternativa? O que é:

Versão especializada do Google para documentos científicos

Lançado em nov. 2004 Como funciona:

Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos

Não utiliza os metadados dos editores das publicações

Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores

Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.

“Publish or Perish”: uma ferramenta bibliométrica para o GA

Indicadores calculados pelo “Publish or Perish”

Formas de busca Índices principais Autores Periódicos Palavras-chave

Número total: trabalhos Citações

Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor

Índice H e indicadores relacionados

Problemas!

Cobertura extensa, mas indenfinida

Forma de coleta dos metadados acarreta muitas inconsistências nos dados

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

TIPOS DE INCONSISTÊNCIAS NA FORMA DO GA DE COLETAR OS METADADOS

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

Duplicação de artigos

1 em 4

Duplicação de citações

7 em 3

Autores?

Autor fantasma: P Login ou seja Please Login (2.340 artigos)

Autores perdidos

TODAS AS BASES POSSUEM INCONSISTÊNCIAS!TODO O LEVANTAMENTO BILIOMÉTRICO EXIGE LIMPEZA DE DADOS!

Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricos

Mas, para a recuperação, o GA é uma excelente ferramenta

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus)

http://www.scimagojr.com/

O desafio em termos de indicadores

A avaliação capaz de considerar as

diferenças existentes entre as várias

(sub-)áreas

Desenvolvimento de indicadores que

valorizem os periódicos de qualidade

que tratam de problemas regionais

Muito obrigada!

Mais informações estão disponíveis em:http://leticiastrehl.blogspot.com/leticia.strehl@ufrgs.com