medidas de visibilidade das publicações científicas
DESCRIPTION
TRANSCRIPT
O fator de impacto e outras medidas de visibilidade das publicações científicas
PPGCOM20 out. 2009
Conteúdos da apresentação
Critérios de avaliação da produção científica O que é produzido? Quanto é produzido? Com que qualidade é produzido?
Fator de Impacto (2 e 5 anos) Obsolescência da literatura (meia vida das citações e
índice de citação imediata) Densidade
Scimago Journal Ranking
Índice H
Indicadores
Critérios de avaliação da produção científica
O que é produzido? Quanto é produzido? Com que qualidade é produzido?
O que é produzido?
Critérios de avaliação da produção científica (1/3):O que é produzido?
Abordagem de problemas de caráter predominantemente nacional
(Produção Endógena)X
Tratamento de temáticas comuns aos interesses dos países desenvolvidos –
mainstream(Produção Exógena)
FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.
Critérios de avaliação da produção científica
“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“
"Como se pode estudar isto?"
MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?
Indicadores
Indicadores
Os indicadores bibliométricos (cientométricos, webométricos, infométricos, etc.) permitem a comparação entre um conjunto de agentes científicos com a finalidade de detectar diferenças relevantes que sirvam para caracterizar o comportamento de cada um dos elos do sistema .
MALTRÁS BARBA, Bruno. Los Indicadores Bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón, Ediciones Trea, 2003.
Antecedentes
Os valores atribuídos aos produtos da atividade científica são relativos aos padrões advindos das características dos diferentes campos científicos
Qualquer metodologia de avaliação deve considerar a natureza dos campos
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".
Quanto é produzido?
Critérios de avaliação da produção científica (2/3):Quanto é produzido?
Esta é fácil:Determina-se quantas publicações foram
escritas por um cientista em um dado momento!
Fácil... será?A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são examinadas.
Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em:http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm
Indicadores
Com que qualidade o trabalho foi produzido?
Critérios de avaliação da produção científica (3/3):Com que qualidade é produzido?
Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis
Indicadores de impacto(considerando, neste caso, citação=visibilidade
= qualidade?!) Ex.: Fator de impacto (Thomson Reuters),
Scimago Journal Ranking
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".
SPINAK, Ernesto. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n.2, p.142, maio/ago. 1998. Link
Requisitos para o cálculo dos índices de impacto
Existência de bases de dados que indexem: uma quantidade representativa de
documentos; as referências citadas nas publicações.
Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
Todavia...
Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".
Implicações da limitação do escopo dessas bases
A valorização da competitividade, o impacto e a visibilidade internacionais
-Produção Exógena-
Todas as áreas são norteadas por estes valores?
Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais…
Fator de Impacto
O fator de impacto (FI)
Há décadas o principal indicador de visibilidade das publicações
Publicado anualmente no Journal Citation Reports (JCR)
O FI como critério de avaliação da produção científica
Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
Como o FI é calculado?
A Origem da Fórmula do FI
Idealizado por Eugene Garfield e Irving Sher
Definição dos títulos a serem indexados no Science Citation Index (SCI)
GARFIELD, Eugene; SHER, I. H. New factors in the evaluation of scientific literature through citation indexing. American Documentation, New York, v.14, n.3, p. 195-201, July 1963.
Definição da Fórmula do FI
Normalização das citações pelo número de artigos publicados no periódico
Periódicos de revisão Tipos de documentos citados
Em 1965, Derek de Solla Price verificou que 12 das 15 referências correspondiam a artigos de periódicos
Idade das referências citadas 21 a 25% das referências são a trabalhos
publicados nos últimos três anos ou menos
Motivos do sucesso do FI como critério de avaliação da produção científica Dificuldades relacionadas com o
levantamento de dados de citações a trabalhos individuais
Facilidade de compreensão “Robustez” (pequena variação de um
ano para outro) Rápida disponibilidade
GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
Todavia...
a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável
Comparação de valores absolutos de FI de periódicos de diferentes áreas
Variação dos Valores Médios de FI por Áreas do Conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.
FI Médio das Áreas dos Periódicos Citados na CSP
Diferenças nos valores de FI das(sub-)áreas: principais fatores
Pelo menos dois fatores contribuem para as diferenças de FI Densidade dos artigos: número médio de
referências citadas por artigo Idade das citações/Ritmo de obsolescência:
número médio de referências recentes citadas por artigo, Índice de Citação Imediata, Meia-vida das citações
Densidade e idade das citações: exemplo
Oncologia Densidade dos artigos
Idade das citações
Matemática Densidade dos artigos
Idade das citações
Densidade
Correlação entre o número médio de referências e de citações feitas aos artigos, por área
Referências por artigos/citações recebidas em
médiaÁreas do Conhecimento
Pouca densidade/entre 5 e 6
Engenharia, Tecnologia e Matemática
Média densidade/entre 8 e 10
Psicologia e Biologia
Alta densidade/entre 12 e 15
Astronomia, Geologia, Física, Química e Medicina Clínica
Altíssima densidade/18 e 20
Pesquisa Biomédica
NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Cherry Hill: Computer Horizons, 1976.
Dados possivelmente desatualizados, mas o que vale é a diferença observada nos padrões de
citação
Idade das citações/Ritmo de obsolescência
Ritmo de obsolescência
É a diminuição da utilização da informação no decorrer do tempo.
Medidas criadas pelo ISI Índice de Citação Imediata (ICI) Meia-vida das Citações (MV)
Índice de Citação Imediata (ICI)
Medida da velocidade com que os novos conhecimentos são incorporados à literatura
Quanto maior o ICI maior o ritmo de obsolescência da literatura
Fórmula:
A proximidade dos valores do FI com o ICI
Os valores de FI e do ICI são freqüentemente muito próximos.
Isto ocorre porque não só o ICI, mas também o FI, coloca em destaque os títulos que publicam pesquisas correntes, de fronteira.
GARFIELD, Eugene. Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long term journal impact. Croatian Medical Journal, Lengerich, v.41, n.4, p.368-374, 2000. Disponível em: <http://www.vms.hr/cmj>. Acesso em: 11/07/2001.
Proporção de Artigos Indexados pelo ISI e não Citados nos Primeiros Cincos Anos após sua Publicação, por Área
HAMILTON, David. Research papers: who’s uncited now. Science, Washington, v. 251, n. 25, p. 25, Jan. 1991.
A Meia Vida das Citações (MV)
A MV é definida como o tempo (em anos) para que 50% das citações recebidas por um periódico apareçam na literatura
Quanto maior a MV menor o ritmo de obsolescência da literatura
No JCR são calculados dois indicadores para medir a MV, de modo a medir a idade das citações: Concedidas; e, Recebidas.
MV: a fórmula
Um jeito mais simples de explicar a MV
A explicação: O " ANAIS DA ACADEMIA BRASILEIRA DE CIENCIAS " foi citado 756 vezes em 2007. Metade deste número é: 378. Precisa-se saber o tempo transcorrido para que sejam alcançadas estas 378 citações,
repassando os anos em sentido decrescente. Somando-se o número de citações para os artigos publicados de 2007 a 2000 tem-se
382 citações (50,53%), ou seja, 8 anos. Contudo, precisa-se calcular o tempo para que os exatos 50% das citações atingidas.
Assim, se no período de 2007 a 2001 (7 anos) tem-se 328 citações, precisa-se de mais 50 citações para que seja completadas as 378.
Como estas 50 citações correspondem a 92,6% das 54 citações recebidas em 2007 para os artigos publicados em 2000, tem-se que a meia-vida dos “Anais da ABC" é 7,9 anos.
O FI de 5 anos para áreas que obsolescem mais lentamente
FI de 2 ou de 5 anos? A resposta seria o valor da MV?
A Física no Brasil
Um exemplo de uso desastroso do FI para avaliação da Produção Científica Diferenças entre sub-áreas
específicas Evolução temporal dos valores
Distribuição de Valores de FI em Diferentes Sub-áreas da Física
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação (Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003.
Variação do FI de Três Periódicos com FI Próximo de 1 no anos de 1993 a 2000
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1993 1994 1995 1996 1997 1998 1999 2000
Val
ores
de
FI
J. MAGNETISM AND MAGNETIC MATERIALS
INTERNATIONAL J. MODERN PHYSICS B
NUCLEAR INSTRUMENTS & METHODS IN PHYSICS RESEARCH A
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação (Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003.
Percentual de Periódicos que de um Ano para o Outro Mudaram de Categoria de FI da CAPES
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação (Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003.
Uma alternativa para uso do FI de modo relativo às sub-áreas
0,000
1,000
2,000
3,000
4,000
5,000
0,000 0,200 0,400 0,600 0,800 1,000 1,200 1,400 1,600 1,800
Percentil 50
Pe
rce
nti
l 75
F. Aplicada Óptica
F. Atômica, Molecular e Química F. Matéria Condensada
F. Fluídos e Plasmas F. Matemática
Astronomia e Astrofísica F. Nuclear
F. Partículas e Campos
> 0,947 = Qualis A
> 1,659 = Qualis A
... a Conclusão
Complexa rede de fatores associada à
forma como FI é calculado pelo ISI.
Influência: Tamanho e ritmo de obsolescência na
comparação geral
Ritmo de obsolescência e densidade na
comparação por sub-áreas
Corruptela do FI do periódico:o FI do autor
Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou
Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
SCImago is a research group from the Consejo Superior de Investigaciones Científicas (CSIC), University of Granada, Extremadura, Carlos III (Madrid) and Alcalá de Henares, dedicated to information analysis, representation and retrieval by means of visualisation techniques. SCImago is a research group from the Consejo Superior de Investigaciones Científicas (CSIC), University of Granada, Extremadura, Carlos III (Madrid) and Alcalá de Henares, dedicated to information analysis, representation and retrieval by means of visualisation techniques.
Scimago Journal Ranking
Novos indicadores para periódicos e países do Portal Scimago (dados da
)
http://www.scimagojr.com/
Quanto é produzido?Com que qualidade é produzido?
Índice H
Surgimento do Índice H
Indicador de produtividade e impacto de um cientista
O que é o índice H
Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h
HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
O índice H calculado com a Web of Science
Para visualizar como é obtido o índice H
Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
A influência das inconsistências das referências bibliográficas no cálculo do índice H de um pesquisador: Possibilidade de checagem com a busca por referências da WoS
Busca por Referências Citadas
Campos de pesquisa
Autor citado (cited author)Trabalho citado (cited work)Anos citados (cited year)
Comparação com os resultados obtidos a partir da “Busca geral”
Vantagens: Geralmente, inclui um número maior de
citações Contempla itens não indexados na Wos
Desvantagem: Considera como sendo artigos diferentes
referências citadas de modo incorreto
Exemplo Sabarreto FC
Geral Referências citadas
Trabalhos 15 25
Citações 143 267
Estas diferenças não comprometem o cálculo do
índice H?
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
O índice H da Scopus (1)
O índice H da Scopus (2)
O índice H do Google Acadêmico com o aplicativo “Publish or Perish” (1)
O índice H do Google Acadêmico com o aplicativo “Publish or Perish” (2)
Cobertura extensa, mas indenfinida
Problemas de recuperação dos registros: inconsistência dos dados qualidade dos metadados
Dificuldades do Índice H para comparação de desempenho dos cientistas
Padrões de citação distintos verificados nas diversas áreas
Artigos escritos em co-autoria Influência do tempo de atividade do
pesquisador
O desafio
A avaliação capaz de considerar as
diferenças existentes entre as várias
(sub-)áreas
Desenvolvimento de indicadores que
valorizem as publicações de qualidade
que tratam de problemas regionais e que
não são publicadas em periódicos
internacionais
O que faz e o que não faz a cientometria
La ciencimetría puede ser usada para desarrollar herramientas orientadas a la evaluación de la investigación, pero no puede evaluar los resultados de investigación
La ciencimetría no tiene por objeto reemplazar métodos cualitativos por cuantitativos
Por tanto, la ciencimetría no pretende sustituir o corregir los procesos de evaluación por expertos (peer review) por métodos cuantitativos, en todo caso complementarlos
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".