Indicadores de produção e impacto das publicações científicas

Seminário especial de pesquisa

Letícia StrehlBibliotecária

Biblioteca Central - UFRGS

Sumário da apresentação

Dilemas de avaliação da produção científica

Indicadores das publicações científicas O Fator de Impacto da Thomson Reuters

▪ O Qualis da CAPES nas áreas médicas O Índice H calculado em diversas bases

de dados O Scimago Journal Ranking com dados

da Scopus

Dilemas da avaliação da produção científica

Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?

Critérios de avaliação da produção científica (1):

O que é produzido?

Pesquisa de problemas predominantemente nacionais e

regionais

X

Pesquisa de problemas internacionaisPesquisa Básica

XPesquisa Aplicada

Critérios de avaliação da produção científica (2)

“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“

"Como se pode estudar isto?"

Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85

Quanto? Como?

Critérios de avaliação da produção científica (3):

Quanto é produzido?

Esta é fácil:Determina-se quantas publicações

foram escritas por um cientista em um dado momento!

Fácil... será?A questão deixa de ser trivial quando as

diferenças entre as áreas do conhecimento são examinadas.

Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.http://dgp.cnpq.br/censos/sumula_estatistica/2010/producao/producao.htm

Ciências Agrárias

Ciências da Saúde

Ciências Humanas

Engenharias e Ciência da Computação

0 50,000 100,000 150,000

Produção de pesquisadores doutores segundo o tipo de produção e a grande área no quadriênio 2007-

2010

Capítulos de livrosLivrosTrabalhos completos pub-licados em anaisArtigos em periódicos in-ternacionaisArtigos em periódicos nacionais

Critérios de avaliação da produção científica (4):

Com que qualidade é produzido?

Avaliação por pares Ex.: consultoria ad hoc

Indicadores de impacto(considerando, neste caso, citação=visibilidade

= qualidade?!) Ex.: Fator de Impacto e Scimago Journal

Ranking

Premissa dos indicadores de impacto

Trabalhos importantes são freqüentemente

citados na literatura científica

Requisitos para o cálculo dos índices de impacto

Existência de bases de dados que indexem: uma quantidade representativa de

documentos; as referências citadas nas publicações.

Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico

Indexação das citações

Todavia...

Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!

Mesmo crescente, o número de periódicos nacionais nas bases é irrisório

2010 2009 2008 20070

50

100

150

200

250

300

350

200

129

62

30

310

266

208

147Web of ScienceScopus

Todas as utilizam os periódicos como principal meio de divulgação de resultados de pesquisa?

Ciências Agrárias

Ciências da Saúde

Ciências Humanas

Engenharias e Ciência da Computação

0 50,000 100,000 150,000

Produção de pesquisadores doutores segundo o tipo de produção e a grande área no quadriênio 2007-

2010

Capítulos de livrosLivrosTrabalhos completos pub-licados em anaisArtigos em periódicos in-ternacionaisArtigos em periódicos nacionais

Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais

Fator de impacto

O fator de impacto (FI)

Há décadas o principal indicador de visibilidade das publicações

Indicador criado em 1963 por Eugene Garfield e Irving Sher

Publicado anualmente no Journal Citation Reports (JCR) pela

consolidação dos dados de citação concedidas aos periódicos

indexados no:

Science Citation Index

Social Science Citation Index

Interface de acesso:

Cobertura:mais 10.100 títulos

Os dados e os indicadoresSCI E SSCI NA WEB OF SCIENCE

JOURNAL CITATION REPORTS

Acesso via:

O FI como critério de avaliação da produção científica

Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.

Como o FI é calculado?

Todavia...a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de subáreas diversas de uma mesma área é impraticável

Comparação de valores absolutos de FI de periódicos de diferentes áreas

Pelo menos dois fatores contribuem para as diferenças de FI

Oncologia Densidade dos artigos

Idade das citações

Matemática Densidade dos artigos

Idade das citações

Fator de impacto e idade das citações de algumas das áreas médicas

Como o FI de 5 anos é calculado?

2 anos

Variação dos valores médios de FI por área do conhecimento

AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

O uso do FI para definição do Qualis dos periódicos nas áreas “Medicina” de 1 a 3 na CAPES

Estratos

Faixas de FI por área de avaliação

Medicina I Medicina II Medicina III

A1 >3,8 >3,8 >2,96

A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96

B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28

B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34

B3 <0,11

Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

Os diferentes padrões de FI das subáreas de uma mesma área de avaliação

Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida

Agregada

CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7

CARDIOLOGIA

CARDIAC & CARDIOVASCULAR SYSTEMS 1,993 3,769 6,3

DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5

ENDOCRINOLOGIAENDOCRINOLOGY & METABOLISM 2,796 4,072 6,6

GASTROENTEROLOGIA

GASTROENTEROLOGY & HEPATOLOGY 2,210 3,606 6

MEDICINA LEGAL E DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6

PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9

Medicina I

Os diferentes padrões de FI das subáreas de uma mesma área de avaliação

Medicina II

Subárea da medicina Áreas do JCR Mediana do FI

FI Agregado

Meia-Vida Agregada

ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6ANATOMIA PATOLÓGICA E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6

HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4

NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7

PEDIATRIA PEDIATRICS 1,314 1,858 7,1

PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3

RADIOLOGIA MÉDICARADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING 1,861 2,832 6,7

REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9

Os diferentes padrões de FI das subáreas de uma mesma área de avaliaçãoSubárea da medicina Áreas do JCR Mediana

do FI FI Agregado Meia-Vida Agregada

ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5

CIRURGIA SURGERY 1,263 2,105 7,6GINECOLOGIA E OBSTETRÍCIA

OBSTETRICS & GYNECOLOGY 1,616 2,182 6,8

OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5

ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4

CIRURGIA SURGERY 1,263 2,105 7,6

Medicina III

Motivos do sucesso do FI como critério de avaliação da produção científica

Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais

Facilidade de compreensão “Robustez” (pequena variação de um ano para

outro) Rápida disponibilidade

Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.

Motivos do sucesso do FI como critério de avaliação da produção científica

Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais

Facilidade de compreensão “Robustez” (pequena variação de um ano para

outro) Rápida disponibilidade

Tópico polêmico: O Fator de Impacto realmente revela algo sobre o impacto dos

artigos?

SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo, 2011.

Além disso, hoje, existem recursos que facilitam a coleta dos dados sobre as citações aos trabalhos individualmente

A Plataforma Lattes é um

exemplo

Corruptela do FI do periódico:o FI do autor

Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou

Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções

Surgimento do Índice HIndicador de produtividade e impacto de um cientista

O que é o índice H

Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h

Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

Exemplo de índice H: Stephen Hawking

Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.

O sentido do Índice H

I H I H

++

ProdutivosCitados

+-

ProdutivosCitados

-+

ProdutivosCitados

--

ProdutivosCitados

Legenda:I= ImpactoH = Índice H Alto Baixo

Dificuldades do Índice H para comparação de desempenho dos cientistas

Padrões de citação distintos verificados nas diversas áreas

Artigos escritos em co-autoria Influência do tempo de atividade do

pesquisador

Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H

O índice H calculado com a Web of Science

Para visualizar como é obtido o índice H

Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H

Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)

Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)

O índice H da Scopus (1)

O índice H da Scopus (2)

O Google Acadêmico (GA) com uma alternativa?

O que é: Versão especializada do Google para documentos

científicos Lançado em nov. 2004

Como funciona: Robôs recompilam as informações disponíveis nos

domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos

Não utiliza os metadados dos editores das publicações

Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores

Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.

“Publish or Perish”: uma ferramenta bibliométrica para o GA

Indicadores calculados pelo “Publish or Perish”

FORMAS DE BUSCA

Autores Periódicos Palavras-chave

ÍNDICES PRINCIPAIS

Número total: trabalhos Citações

Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor

Índice H e indicadores relacionados

Plug-in do Firefox um alternativa ao PoP

https://addons.mozilla.org/en-US/firefox/addon/scholar-h-index-calculator/

Problemas!

Cobertura extensa, mas indefinida

Forma de coleta dos metadados acarreta muitas inconsistências nos dados

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

Tipos de inconsistências na forma do GA de coletar os metadados

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

Duplicação de artigos

1 em 4

Duplicação de citações

7 em 3

Autores?

Autor fantasma: P Login ou seja Please Login (2.340 artigos)

Autores perdidos

TODAS as bases possuem inconsistências!TODO o levantamento bibliométrico exige limpeza de dados!

Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

Todavia, para Peter Jácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricos

Mas, para a recuperação, o GA é uma excelente ferramenta

O Scimago Journal Ranking (SJR):um fator de impacto com dados da Scopus?

Os dados e os indicadores

SCOPUS SCIMAGO

Acesso via: Acesso livre!

Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus)

http://www.scimagojr.com/

O que medem os diferentes indicadores?

LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.

Impacto

Produção

O SJR e o FI podem ser considerados equivalentes?

LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.

Sim!

O desafio em termos de indicadores

A avaliação capaz de considerar as

diferenças existentes entre as várias

(sub-)áreas Desenvolvimento de indicadores que

valorizem os periódicos de qualidade que

tratam de problemas regionais

Muito obrigada!leticia.strehl@ufrgs.com