indicadores de impacto e produtividade das publicações para a avaliação da atividade científica
DESCRIPTION
TRANSCRIPT
![Page 1: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/1.jpg)
Indicadores de impacto e produtividade das publicações para a avaliação da
atividade científica
Letícia StrehlProfa. do Departamento de Ciência da Informação
Faculdade de Biblioteconomia e Comunicação - UFRGS
Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010
![Page 2: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/2.jpg)
Dilemas da avaliação da produção científica
Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
![Page 3: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/3.jpg)
Critérios de avaliação da produção científica (1):
O que é produzido?
Abordagem de problemas de caráter predominantemente nacional
(Produção Endógena)X
Tratamento de temáticas comuns aos interesses dos países desenvolvidos –
mainstream(Produção Exógena)
Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.
![Page 4: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/4.jpg)
Critérios de avaliação da produção científica (2)
“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“
"Como se pode estudar isto?"
Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?
![Page 5: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/5.jpg)
Critérios de avaliação da produção científica (3):
Quanto é produzido?
Esta é fácil:Determina-se quantas publicações foram
escritas por um cientista em um dado momento!
Fácil... será?A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são examinadas.
![Page 6: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/6.jpg)
Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em:http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm
![Page 7: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/7.jpg)
Critérios de avaliação da produção científica (4):
Com que qualidade é produzido?
Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis
Indicadores de impacto(considerando, neste caso,
citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters)
e Índice H
![Page 8: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/8.jpg)
Premissa dos indicadores de impacto
Trabalhos importantes são
freqüentemente citados na
literatura científica
![Page 9: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/9.jpg)
Requisitos para o cálculo dos índices de impacto
Existência de bases de dados que indexem: uma quantidade representativa de
documentos; as referências citadas nas publicações.
Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
![Page 10: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/10.jpg)
Todavia...
Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!
![Page 11: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/11.jpg)
Mesmo crescente, o número de periódicos nacionais nas bases é irrisório
2010 2009 2008 20070
50
100
150
200
250
300
350
200
129
6230
310
266
208
147Web of ScienceScopus
![Page 12: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/12.jpg)
Implicações da limitação do escopo dessas bases
A valorização da competitividade, o impacto e a visibilidade internacionais
-Produção Exógena-
![Page 13: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/13.jpg)
Todas as áreas são norteadas por estes valores?
![Page 14: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/14.jpg)
Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais
![Page 15: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/15.jpg)
O fator de impacto (FI)
Há décadas o principal indicador de visibilidade das publicações
Indicador criado em 1963 por Eugene
Garfield e Irving Sher
Publicado anualmente no Journal
Citation Reports (JCR)
![Page 16: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/16.jpg)
O FI como critério de avaliação da produção científica
Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
![Page 17: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/17.jpg)
Como o FI é calculado?
![Page 18: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/18.jpg)
Motivos do sucesso do FI como critério de avaliação da produção científica
Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
Facilidade de compreensão “Robustez” (pequena variação de um
ano para outro) Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
![Page 19: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/19.jpg)
Todavia...
a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável
![Page 20: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/20.jpg)
Comparação de valores absolutos de FI de periódicos de diferentes áreas
![Page 21: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/21.jpg)
Pelo menos dois fatores contribuem para as diferenças de FI
Oncologia Densidade dos artigos
Idade das citações
Matemática Densidade dos artigos
Idade das citações
![Page 22: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/22.jpg)
Densidade e idade das citações da área de Construção
Densidade dos artigos
Idade das citações
![Page 23: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/23.jpg)
Como o FI é calculado?
5 anos
2 anos
![Page 24: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/24.jpg)
Variação dos valores médios de FI por área do conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.
![Page 25: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/25.jpg)
![Page 26: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/26.jpg)
Corruptela do FI do periódico:o FI do autor
Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou
Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
![Page 27: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/27.jpg)
Surgimento do Índice H
Indicador de produtividade e impacto de um cientista
![Page 28: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/28.jpg)
O que é o índice H
Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
![Page 29: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/29.jpg)
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
![Page 30: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/30.jpg)
O sentido do Índice H
I H I H
++
ProdutivosCitados
+-
ProdutivosCitados
-+
ProdutivosCitados
--
ProdutivosCitados
Legenda:I= ImpactoH = Índice H Alto Baixo
![Page 31: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/31.jpg)
Dificuldades do Índice H para comparação de desempenho dos cientistas
Padrões de citação distintos verificados nas diversas áreas
Artigos escritos em co-autoria Influência do tempo de atividade do
pesquisador
![Page 32: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/32.jpg)
Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
![Page 33: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/33.jpg)
O índice H calculado com a Web of Science
![Page 34: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/34.jpg)
Para visualizar como é obtido o índice H
Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
![Page 35: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/35.jpg)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
![Page 36: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/36.jpg)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
![Page 37: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/37.jpg)
O índice H da Scopus (1)
![Page 38: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/38.jpg)
O índice H da Scopus (2)
![Page 39: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/39.jpg)
O Google Acadêmico (GA) com uma alternativa? O que é:
Versão especializada do Google para documentos científicos
Lançado em nov. 2004 Como funciona:
Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos
Não utiliza os metadados dos editores das publicações
Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores
Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.
![Page 40: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/40.jpg)
“Publish or Perish”: uma ferramenta bibliométrica para o GA
![Page 41: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/41.jpg)
Indicadores calculados pelo “Publish or Perish”
Formas de busca Índices principais Autores Periódicos Palavras-chave
Número total: trabalhos Citações
Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor
Índice H e indicadores relacionados
![Page 42: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/42.jpg)
Problemas!
Cobertura extensa, mas indenfinida
Forma de coleta dos metadados acarreta muitas inconsistências nos dados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
![Page 43: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/43.jpg)
TIPOS DE INCONSISTÊNCIAS NA FORMA DO GA DE COLETAR OS METADADOS
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
![Page 44: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/44.jpg)
Duplicação de artigos
1 em 4
![Page 45: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/45.jpg)
Duplicação de citações
7 em 3
![Page 46: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/46.jpg)
Autores?
Autor fantasma: P Login ou seja Please Login (2.340 artigos)
Autores perdidos
![Page 47: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/47.jpg)
TODAS AS BASES POSSUEM INCONSISTÊNCIAS!TODO O LEVANTAMENTO BILIOMÉTRICO EXIGE LIMPEZA DE DADOS!
![Page 48: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/48.jpg)
Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricos
Mas, para a recuperação, o GA é uma excelente ferramenta
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
![Page 49: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/49.jpg)
Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus)
http://www.scimagojr.com/
![Page 50: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/50.jpg)
![Page 51: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/51.jpg)
O desafio em termos de indicadores
A avaliação capaz de considerar as
diferenças existentes entre as várias
(sub-)áreas
Desenvolvimento de indicadores que
valorizem os periódicos de qualidade
que tratam de problemas regionais
![Page 52: indicadores de impacto e produtividade das publicações para a avaliação da atividade científica](https://reader033.vdocuments.mx/reader033/viewer/2022061120/546bb076af79597b298b4d6b/html5/thumbnails/52.jpg)
Muito obrigada!
Mais informações estão disponíveis em:http://leticiastrehl.blogspot.com/[email protected]