consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

Consumo de informação e critérios de avaliação:

o desempenho dos periódicos nacionais

Rogério Mugnaini

Introdução

Política Científica

O conhecimento destas peculiaridades (consumo de informação) permite às comunidades científicas das diversas áreas a incrementarem seu complexo sistema de avaliação.

Consumo de informação na produção científica

A análise exploratória das referências bibliográficas dos artigos ao longo do tempo revelam a tipologia documental mais prevalente em cada área, assim como sua obsolescência.

Rogério Mugnaini | SciELO 15 anos

Metodologia

• Consumo de informação na produção científica brasileira

– A análise estatística descritiva das referências bibliográficas dos artigos de autores brasileiros na Rede SciELO;

– Período: 2004-2012, correspondente aos últimos 3 triênios de avaliação da Capes.


Metodologia • Política Científica brasileira

– Informação qualitativa, derivada das decisões dos comitês, que definem os critérios específicos para avaliação de produção científica de cada área.

– Análise documental dos documentos de área propostos pelas comissões das 46 Áreas de Avaliação do Qualis (triênio 2007 - 2009).

– Rica fonte de informação, fruto de consenso entre os pesquisadores, que oferece os aspectos contextuais do processo de comunicação científica de cada área.


Metodologia – Política Científica brasileira

• Relevância dos seguintes quesitos para definição de critérios: livros > periódicos científicos > bases de dados e Fator de Impacto

– Consumo de informação na produção científica brasileira • Obsolescência da literatura (percentual de citações a

documentos recentes – 1 e 2 anos); • Peso atribuído a periódicos científicos na avaliação geral do PPG; • Prevalência das citações a:

livros > periódicos científicos indexados (SciELO ou Web of Science) ou não


Política Científica brasileira • Estudo dos critérios para classificação dos periódicos (Qualis) das

diferentes Áreas de Avaliação de cada uma das Grandes Áreas?


AGRICULTURAL SCIENCES AGRIC ENGINEERING I ENG 1 ANTHROPOLOGY / ARCHAEOLOGY ANTR, ARCHANIMAL SCIENCE / FISHING RESOURCES AN-SCI, FISH ENGINEERING II ENG 2 EDUCATION EDUCFOOD SCIENCE AND TECHNOLOGY FOOD S&T ENGINEERING III ENG 3 GEOGRAPHY GEOGRVETERINARY MEDICINE VET-MED ENGINEERING IV ENG 4 HISTORY HIST

PHILOSOPHY / THEOLOGY PHIL, THEOLAPPLIED SOCIAL SCIENCES APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS POLITICAL SCIENCE AND INTERNATIONAL RELATIONS POL-SCI, INT-RELARCHITECTURE, URBAN PLANNING AND DESIGN ARCHT, URB, DESN CHEMISTRY CHEM PSYCHOLOGY PSYCHBUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM BUS, ACC, TOUR COMPUTER SCIENCE COMP SOCIOLOGY SOCIOLECONOMICS ECON GEOSCIENCES GEOSCLAW LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT ARTS / MUSIC ART, MUSCSOCIAL SERVICES / DOMESTIC ECONOMY SOC-SERV, DOM-ECON LETTERS / LINGUISTICS LETT. LINGURBAN AND REGIONAL PLANNING / DEMOGRAPHICS URB-REG-PLAN, DEMOG DENTISTRY DENT

MEDICINE I MED 1 BIOTECHNOLOGY BIOTECHBIOLOGICAL SCIENCES I BIO 1 MEDICINE II MED 2 INTERDISCIPLINARY INTERDBIOLOGICAL SCIENCES II BIO2 MEDICINE III MED 3 MATERIALS MATER-SCIBIOLOGICAL SCIENCES III BIO 3 NURSING NURS SCIENCE AND MATH TEACHING SCI&MATH -TEACHECOLOGY AND ENVIRONMENT ECOL, ENV PHARMACY PHARM

PHYSICAL EDUCATION PHYS-EDUCPUBLIC HEALTH PUB-HEAL

Human Sciences

Linguistics, Letters and Arts

Multidisciplinar

Agricultural Sciences

Applied Social Sciences

Biological Sciences

Engineering

Exact and Earth Sciences

Health Sciences

Lista de acrônimos (em inglês) das Áreas de Avaliação e respectivas Grandes Áreas

Política Científica brasileira

Quais índices de citação são utilizados pelas diferentes Áreas de Avaliação

das Grandes Áreas?



0%

25%

50%

75%

100%Ciências Agrárias (4)

Ciências Biológicas (4)

Ciências da Saúde (8)

Ciências Exatas e da Terra (5)

Engenharias (4)Multidisciplinar (4)

Ciências Sociais Aplicadas (7)

Ciências Humanas (8)

Linguística, Letras e Artes (2)

WoS SciELO SCOPUS

Mapeamento da utilização de bases de dados para definição de critério de avaliação de periódicos do estrato A1, segundo Grande Área e número de Áreas de Avaliação.

(Mugnaini e Sales, 2011)



Quais Áreas de Avaliação • Definem critérios para avaliação de livros • Consideram a indexação na SciELO como critério de

qualidade ?

E qual o peso atribuído a • Periódicos, em relação ao total de pontos de avaliação dos

Programas de Pós-Graduação ?

E qual o valor do Fator de Impacto exigido para o estrato mais alto (A1)?



BIO 25% BIO2 14 4.7 BIO 25% BIO 3 20 4.9MED 2 20 3.8MED 1 20 3.8ODONT 20 3.1MED 3 20 3

ASTR, FÍS 17.5 6 QUÍM 21 4COMP 26 1.4 GEOC 24 2.8

MAT, PROB, ESTAT 26 1MED-VET 22 2.6AGRIC 22 2

MULT 25% CI-MATER 17.5 1ENG 4 17.5 1 ENG 25% ENG 2 20 1ENG 3 17.5 -

18.5 3.3 21.0 2.7

EXA 40%

ENG 50%

Média

AGR 50%

SciELO SIM SciELO NÃOGrande

Área %Área de

AvaliaçãoPeso

Periódic

FI JCRFI JCR

Média

Livro NÃO

SAÚ 50%

EXA 60%

Peso Periódico

Área de Avaliação%

Grande Área

Diversos critérios de avaliação utilizado pelas diversas Áreas de Avaliação, dentro das Grandes Áreas.

(Miranda e Mugnaini, 2013) Rogério Mugnaini | SciELO 15 anos

BIOTEC 16 5 MULT 25% INTERD 21 -ENS-CI&MAT 17.5 -BIO 1 15.8 4.1ECOL, AMB 20 3C&T ALIM 22 2.6ZOOT, PESC 22 2FARM 16 3 SAÚ 13% SAÚ-PUB 16 4EDUC-FÍS 16 1.9ENF 16 0.8

ENG 25% ENG 1 17.5 0.8ADM, CONT, TU 22.8 0.5 URB&PLAN-REG, D 17.5 -ECON 22.8 - SERV-SOC, ECON-D 16 -ARQ, URB, DES 16 - CI-SOC-AP 16 -

DIR 16 -FIL, TEOL 17.5 - GEOGR 14 0.5EDUC 17.5 - PSIC 17.5 -

CI-POL, REL-INT 24 -SOCIOL 20 -ANTR, ARQ 16 -HIST 14 -

LING, LET 20 -ART, MUSC 12 -

18.1 2.4 17.3 2.3

Livro SIM SciELO SIMSciELO NÃO

Grande Área %

Área de Avaliação

Peso Periódico FI JCR

MULT 50%

LLA 100%

BIO 50%

AGR 50%

SAÚ 38%

SOC 57%SOC 43%

HUM 25%

Média

Grande Área %

Área de Avaliação

Peso Periódic

FI JCR

HUM 75%

Média

(Miranda e Mugnaini, 2013) ... continuação Rogério Mugnaini | SciELO 15 anos


Qual o valor médio de Fator de Impacto

exigido pelas Áreas de Avaliação de cada Grande Área?

Áreas de Avaliação que avaliam livros

apresentam diferente nível de exigência do Fator de Impacto?



0,000 1,000 2,000 3,000 4,000 5,000 6,000

Ciências BiológicasCiências Exatas e da Terra

MultidisciplinarCiências da SaúdeCiências Agrárias

EngenhariasCiências Sociais Aplicadas

Ciências HumanasLinguística, Letras e Artes Média do

Fator de Impactodas Áreas de Avaliação

Livro Não Livro Sim

Média do Fator de Impacto utilizado , pelas diversas Áreas de Avaliação das Grandes Áreas, como critério de classificação de periódicos do mais alto estrato (A1).



Qual o valor médio do peso atribuído a periódicos científicos na avaliação geral do Programa de Pós-Graduação definido pelas Áreas de Avaliação de cada Grande Área?

Áreas de Avaliação que destacam periódicos

SciELO apresentam diferente nível de peso atribuído a periódicos?



0,0 5,0 10,0 15,0 20,0 25,0

Ciências Exatas e da Terra

Ciências Agrárias

Multidisciplinar

Ciências Sociais Aplicadas

Engenharias

Ciências Humanas

Ciências da Saúde

Ciências BiológicasMédia do Peso (%) dosperiódicosnas Áreas de Avaliação

SciELO Não SciELO Sim

Média do peso percentual atribuído à produção em periódicos, pelas diversas Áreas de Avaliação das Grandes Áreas.


Consumo de informação na produção científica brasileira (tipo de documento citado)


Quais são os tipos de documento mais citados nos artigos de brasileiros publicados nos periódicos da Rede SciELO das diferentes

Grandes Áreas?


0% 20% 40% 60% 80% 100%

Ciências AgráriasCiências da Saúde

Ciências BiológicasCiências Exatas e da Terra

EngenhariasCiências Sociais Aplicadas

Ciências HumanasLinguística, Letras e Artes

Livro Periódico WoS Periódico SciELO Outros periódicos

Teses Anais Outros documentos

Distribuição das referências bibliográficas dos artigos de brasileiros na Rede SciELO, segundo tipo de documento citado, e Grande Área – período de 2004-2012




Qual é o percentual de citações a livros nas Grandes Áreas, nos períodos relativos aos últimos 3 triênios de avaliação da Capes?

0% 10% 20% 30% 40% 50% 60%

Linguística, Letras e ArtesCiências Humanas

Ciências Sociais AplicadasCiências Agrárias

EngenhariasCiências da Saúde

Ciências BiológicasCiências Exatas e da Terra % do consumo:

Livros

2004-2006 2007-2009 2010-2012


Percentual de citações a livros nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012




Qual é o percentual de citações a periódicos Web of Science (WoS) nas Grandes Áreas, nos

períodos relativos aos últimos 3 triênios de avaliação da Capes?

0% 10% 20% 30% 40% 50% 60%

Ciências Exatas e da TerraCiências da Saúde

Ciências BiológicasEngenharias

Ciências AgráriasCiências Sociais Aplicadas

Ciências HumanasLinguística, Letras e Artes % do consumo:

PeriódicosWoS

2004-2006 2007-2009 2010-2012


Percentual de citações a periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012




Qual é o percentual de citações a periódicos SciELO nas Grandes Áreas, nos períodos

relativos aos últimos 3 triênios de avaliação da Capes?

0% 5% 10% 15% 20% 25%

Ciências AgráriasCiências da Saúde

Ciências BiológicasCiências Humanas

Ciências Sociais AplicadasCiências Exatas e da Terra

EngenhariasLinguística, Letras e Artes % do consumo:

PeriódicosSciELO

2004-2006 2007-2009 2010-2012


Percentual de citações a periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012


Consumo de informação na produção científica brasileira (obsolescência)


Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) -

considerando-se periódicos Web of Science (WoS) sendo citados nas Grandes Áreas -, nos

períodos relativos aos últimos 3 triênios de avaliação da Capes?

0% 2% 4% 6% 8% 10% 12%


EngenhariasCiências BiológicasCiências Humanas

Ciências AgráriasCiências Sociais AplicadasLinguística, Letras e Artes

% jan. 2 anos:Periódicos WoS

2004-2006 2007-2009 2010-2012


Representatividade das citações a artigos de um ou 2 anos de idade de periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos



Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) -

considerando-se periódicos SciELO sendo citados nas Grandes Áreas -, nos períodos

relativos aos últimos 3 triênios de avaliação da Capes?

0% 4% 8% 12% 16% 20% 24% 28%


EngenhariasLinguística, Letras e Artes

Ciências AgráriasCiências Biológicas

Ciências Sociais AplicadasCiências Humanas % jan. 2 anos:

Periódicos SciELO

2004-2006 2007-2009 2010-2012

Representatividade das citações a artigos de um ou 2 anos de idade de periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos


Política Científica X Consumo de informação


Utilizando todas as variáveis anteriores, recorre-se à análise de clusters para reconhecer

características comuns das Grandes Áreas!


Análise multivariada dos indicadores anteriores (política científica e consumo de informação), para definição de clusters das Grandes Áreas Rogério Mugnaini | SciELO 15 anos



Para cada cluster das Grandes Áreas, são identificados os indicadores

cuja magnitude pode ser considerada Destacada, Alta ou Moderada!


Níveis de magnitude dos indicadores anteriores, segundo os clusters das Grandes Áreas.

ModeradoAlto

Destacado

Níveis

% jan. cit. Média (FI) Peso % Per. SciELO Per. SciELO Per. WoS Livros

Ciências Agrárias 1Ciências BiológicasCiências da SaúdeEngenhariasCiências Exatas e da Terra 3Ciências HumanasCiências Sociais AplicadasLinguística, Letras e Artes 5

4

2

Grande Área Cluster

Política científica (Qualis) Consumo de informação (SciELO)

Periódico % do tipo de documento


Referências citadas

MIRANDA, E. C. ; MUGNAINI, R. Scientific policy in Brazil: exploratory analysis of assessment criteria. In: 14th International Society of Scientometrics and Informetrics Conference, 2013, Vienna. Proceedings of the ISSI 2013. Vienna: AIT Austrian Institute of Technology GmbH, 2013. v. II. p. 1578-1586.

MUGNAINI, R. ; SALES, D. P. Mapeamento do uso de índices de citação e

indicadores bibliométricos na avaliação da produção científica brasileira. In: ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação, 2011, Brasília. Anais do XII ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação. Brasília: Thesaurus, 2011. v. 12. p. 2361-2372.


Rogério Mugnaini [email protected]

Este estudo é parte da pesquisa desenvolvida no âmbito do Programa

Jovens Pesquisadores da FAPESP, intitulada: Link para o projeto: “Avaliação de produção científica no Brasil: estudo da

comunicação científica nas diversas áreas e desenvolvimento de infraestrutura institucional”


http://lattes.cnpq.br/6156509933307243

http://www.bv.fapesp.br/pt/auxilios/48066/avaliacao-de-producao-cientifica-no-brasil-estudo-da-comunicacao-cientifica-nas-diversas-areas-e-des/




http://each.uspnet.usp.br/site/

Scientific policy in Brazil: exploratory analysis of assessment criteria

Elaine Cristina Pinto de Miranda1, Rogério Mugnaini

1,2,

1 [email protected]

Universidade de São Paulo, Escola de Comunicações e Artes, Depto. de Ciência da Informação, Av. Prof. Lúcio Martins Rodrigues, 443, CEP 05508-020, São Paulo, SP, Brazil

2 [email protected]

Universidade de São Paulo, Escola de Artes, Ciências e Humanidades, Av. Arlindo Bettio, 1000, CEP 03828-000,São Paulo, SP, Brazil

Abstract Brazilian scientific evaluation process involves nowadays 3,000 postgraduate programs and almost 1,000 of ad hoc consultants from educational institutions of all regions of the country. Each triennial cycle, produces a lot of

information, part of it qualitative, derived from the decisions of the committees of the 46 assessment areas. Our

study proposes a documentary analysis of this documentation, in order to express contextual aspects of scientific

communication process in each area. We aimed to compare the different scientific fields, due to the importance

given to publication in scientific journals as well as its contrast to books and national journals importance. The

results here presented show groups of Assessment Areas at different stages of the scientific communication

process. We found that there are areas in which publications occurs primarily in indexed international journals,

otherwise there are areas proposing specific criteria to evaluate the quality of national journals. There are also

areas that are in the process of establishing their journals, and others are being forced to change the practice of

publishing books and start publishing on journals.

Conference Topic Science Policy and Research Evaluation: Quantitative and Qualitative Approaches (Topic 3)

Introduction

Since 1976, the Coordination of Higher Education Personnel Improvement (CAPES) is

developing a national wide evaluation process of Brazilian postgraduate programs, which has

been significantly improved between 1996 and 1997, in order to establish a triennial

evaluation cycle since 1998. This is a huge effort considering that Brazil presents nowadays

around 3,000 postgraduate programs. The evaluation process involves almost 1,000 of ad hoc

consultants from educational institutions of all regions of the country, composing committees

in 46 assessment areas of the different scientific fieldsi. Between the different aspects

evaluated, scientific production is the one that most influence and determine the level of the

postgraduate program (Souza & Paula, 2002).

Follow up evaluations are done annually, and the final one, at the end of each triennial cycle,

producing a lot of information published in the Coordination’s website: documents, tables and

even raw bibliographic data. The information can be found in different levels of aggregation

(researcher, postgraduate program, institution, assessment area and broad scientific area).

Significant part of the information gathered by CAPES comes directly from Lattes Platformii

– the curriculum database maintained by the National Council for Scientific and

Technological Development (CNPq). The reliability of this process is based on policies that

guarantee that the researchers will maintain their curriculum up-to-date periodically. It will

refer about all information related to the scientific production, research projects, academic

career, and any information inserted in the curriculum. The objective character of this type of

information has served a diversity of scientometric analysis that has been widely published in

important specialized information sources (Leite et al., 2011).

The other part consists mainly of qualitative information, which composes the documentation

derived from the decisions of the committees (CAPES, 2011), in order to define specific

criteria to each assessment area. These committees are composed by the Area Representative

at CAPES and ad hoc consultants, who are responsible for setting criteria for qualifying

vehicles and their classification for subsequent use as an input to postgraduate program

evaluation (Souza & Paula, 2002). This rich information reflects the consensus among the

researchers, bringing in itself, the capability of express contextual aspects of scientific

communication process in each area.

Hicks (2004) argues that, although journal articles have its importance, in Social Sciences and

Humanities, books publishing predominates, and due to its characteristics an ideal evaluation

should consider what she calls the four literatures: journals, books, national and non-scholarly

literature – being "national literature" the one developed in local context and "non-scholarly

literature" the knowledge reaching out to application.

These concerns are contemplated in CAPES documentation, which requires each area decide

about setting specific criteria based in: (1) a book classification form, and; (2) a national

citation index to infer quality of national journals.

This study aims to compare the difference between the scientific communication process in

the 46 areas of CAPES national assessment, based in the documentation derived from the

decisions of the committees of each assessment area. More specifically it analyses the

importance given to publication in scientific journals as well as its contrast to books and

national journals importance. The next stage of this ongoing project aims to evaluate the

whole Brazilian Scientific Community, including the scientific indicators derived from the

Lattes Platform.

Methodology

An exploratory research was carried out, applying documentary analysis to the documents

proposed by the committees of the 46 assessment areas, classified into nine broad subject

areas, that are described on Figure 1. These documents are part of the Qualis, a set of

procedures used by CAPES to realize a more systematic treatment and quality of scientific

intellectual output of postgraduate programs aiming to improve the indicators that support the

evaluation of these programs (Souza & Paula, 2002).

Figure 1: List of acronyms of Assessment Areas and respective Broad Areas

Qualis consists of the classification of vehicles in which the scholars of postgraduate

programs publish their findings. Titles are analyzed and ranked according to criteria

established by committees of area. According to Capes (2004), "is at the discretion of each

area to decide on the category of vehicle used by it: there are areas that rank only journals, as

there are those who classify other types of vehicles such as: annals, newspapers and

magazines”. As one might expect, the relative importance of journals, against books and

proceedings is a constant discussion of the committees of different assessment areas, that

AGRICULTURAL SCIENCES AGRIC ENGINEERING I ENG 1 ANTHROPOLOGY / ARCHAEOLOGY ANTR, ARCH

ANIMAL SCIENCE / FISHING RESOURCES AN-SCI, FISH ENGINEERING II ENG 2 EDUCATION EDUC

FOOD SCIENCE AND TECHNOLOGY FOOD S&T ENGINEERING III ENG 3 GEOGRAPHY GEOGR

VETERINARY MEDICINE VET-MED ENGINEERING IV ENG 4 HISTORY HIST

PHILOSOPHY / THEOLOGY PHIL, THEOL

APPLIED SOCIAL SCIENCES APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS POLITICAL SCIENCE AND INTERNATIONAL RELATIONS POL-SCI, INT-REL

ARCHITECTURE, URBAN PLANNING AND DESIGN ARCHT, URB, DESN CHEMISTRY CHEM PSYCHOLOGY PSYCH

BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM BUS, ACC, TOUR COMPUTER SCIENCE COMP SOCIOLOGY SOCIOL

ECONOMICS ECON GEOSCIENCES GEOSC

LAW LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT ARTS / MUSIC ART, MUSC

SOCIAL SERVICES / DOMESTIC ECONOMY SOC-SERV, DOM-ECON LETTERS / LINGUISTICS LETT. LING

URBAN AND REGIONAL PLANNING / DEMOGRAPHICS URB-REG-PLAN, DEMOG DENTISTRY DENT

MEDICINE I MED 1 BIOTECHNOLOGY BIOTECH

BIOLOGICAL SCIENCES I BIO 1 MEDICINE II MED 2 INTERDISCIPLINARY INTERD

BIOLOGICAL SCIENCES II BIO2 MEDICINE III MED 3 MATERIALS MATER-SCI

BIOLOGICAL SCIENCES III BIO 3 NURSING NURS SCIENCE AND MATH TEACHING SCI&MATH -TEACH

ECOLOGY AND ENVIRONMENT ECOL, ENV PHARMACY PHARM

PHYSICAL EDUCATION PHYS-EDUC

PUBLIC HEALTH PUB-HEAL

Human Sciences

Linguistics, Letters and Arts

Multidisciplinar



Biological Sciences

Engineering


Health Sciences

develops its own document based on the main guidelines from CAPES Board of Assessment.

These documents are reviewed and approved by the Scientific Technical Council (CTC).

The CAPES document is structured into six parts: a) Identification (Assessment Area, area

coordinator, area assistant coordinator, modality); b) I. General considerations on the current

stage of area; c) II. General considerations on the evaluation form for the respective

triennium; d) III. General Considerations for Qualis journals, books classification form and

criteria for usage and stratification of these documents in the assessment; IV. General

Evaluation Form for the respective triennium; e) V. Considerations and definitions about

assigning grades 6 and 7 (maximum) – international insertion.

As this study intent to study the specific criteria to evaluate books and national journals, it

considered the sections III and IV that are described below, from the last completed triennial

assessment (2007 - 2009).

Section III: consists in the defined criteria to (1) journals classification (A1, A2, B1, B2, B3,

B4, B5 – where A1 and A2 are the core journals of each area, and C means "no value"). At

one hand, the majority of the areas consider the journal Impact Factor from the Journal

Citation Reports (JCR IF) as the main and unique indicator to define the core journals, while

other areas value national journals indexed at SciELO (Scientific Electronic Library Online)

database. On the other hand, some areas consider the book in its evaluation and also describe

the books classification in a detailed (complex and controversial) way, defining the book

classification form. A couple of areas still classify conference proceedings, even calculating

specific indicators to do so - that is the case of Computer Science.

Section IV: shows the general Evaluation Form. It is composed by five items and sub items

that receive a weight for the whole evaluation, for example, in a specific area: 1. Proposal of

the postgraduate program (0%); 2. Docent staff (20%); 3. Students Thesis and Dissertations

(35%); 4. Intellectual Production (35%); 5. Social Inclusion (10%). Each area has the

autonomy to set the weight of the items and sub items, in a weight range established at the

main guidelines from CAPES Board of Assessment.

In order to map the diverse attribution of relevance of scientific journals and books between

the different assessment areas, the respective weights were analyzed (information gathered

from item 4. Intellectual Production of Evaluation Form). The documents were obtained from

CAPES Board of Assessment that sent the material on December 2012.

Information of interest were: Broad Area (BA), Assessment Area (AA), the definition or not,

by the AA of a detailed book classification form and the consideration about the presence of a

journal at SciELO database as a quality criteria. As response variables were selected the JCR

IF and the weight attributed to publication on scientific journal (that multiplied by the weight

associated to Intellectual Production, gives the importance of publication in journal articles

against all the other aspects of the general Evaluation Form).

Findings and discussion

The first variable analyzed concerns to the percentual weight of the publication on journals in

relation to all aspects considered in the general Evaluation Form.

Observing Figure 2 it is possible to see that the average weight assigned by the AAs of each

BA is more significant (> 22%) for EXA and AGR, followed by SOC, ENG, MULT and

HLTH (around 18%), and HUM e BIO (around 17.5%) and LLA (16%). The BAs showing

more AAs (8) are HLTH and HUM.

The data shows (figure not presented) that most AAs (58.6%) use books classification criteria

and, contrarily, the majority (63,6%) do not consider being indexed in SciELO as a criteria for

the journal classification on the highest stratum. But is interesting to note that SciELO is more

used in areas that classify books (41.4%) than in areas that don’t classify (29.4%).

Figure 2. Broad Areas (and respective number of Assessment Areas) distributed by descendent

average weight attributed to journal in the postgraduate program assessment.

Another aspect to be mentioned is that the 17 AAs that do not classify books are mostly the so

called hard sciences, assigning an average weight to journals in 20.3%. However, when

considering the 29 AAs that classify books, the 5 Social Sciences areas attribute the highest

average weight to journals (18.6%), followed by 9 hard sciences areas (18.0%) and finally by

3 Arts and Humanities areas (15.1%).

Table 1 show areas that don’t use books classification criteria or SciELO indexing to classify

journals on the highest stratum (Group 2) are those with highest weight for journal

publications. This group concentrates 60% of EXA AAs and 50% of HLTH. It is the second

group that requires higher average value of JCR IF to be at the highest stratum, presenting the

largest JCR IF on BIO (BIO 3, with 4.9) and AGR (VET-MED, with 2.6).

Areas that do not value books but consider indexing in SciELO as criteria for evaluating

journals (Group 1) are those that require higher JCR IF as evaluation criteria of journals on

the top stratum. We highlight the ASTR, PHYS require JCR IF 6.0 (the highest of EXA) and

ENG 4 (IF 1.0) with the higher requirement across the ENG fields. The group concentrates

40% of EXA AAs and 50% of ENG. It should be emphasized that the presence ENG and

COMP on this group is because they are areas that use mostly conference proceedings to

disseminate their results, not considering either national journals or books – as consequence

they require low JCR IF to classify journals.

Group 3 shows AAs that classify books but do not consider SciELO indexing as evaluation

criteria. It is possible to see that it is the most heterogeneous group and contains the majority

of the AAs. Displays the BIOTECH area which requires JCR IF 5.0 (the highest into MULT).

And Group 4 concentrates the most part of AAs in HUM (75%) and SOC (57%), and

classifies books and considers indexing in SciELO as evaluation criteria. These areas do not

often use the JCR IF as journals evaluation criteria on the highest stratum, except in GEOGR

areas (IF of 0.5) and PUB-HEAL (IF of 4.0, the highest of HLTH).

The evaluation of scientific production nationwide should consider the existing policy model

as well as add the scientific communication specificities expressed in the practices of

communities of different knowledge areas. The evaluation criteria should be appropriate to

the different areas, and also to the national context, in order to give subsidies to a coherent

science policy, in which the Brazilian scientific community has played an important role.

As explains Trigueiro (2001), the scientific community, together with the state, contributed

significantly to the establishment and consolidation of scientific and technological national

base through scientific societies that now use the policy weapons, establishing: the institutions

that support research, postgraduate programs, national plans and the current evaluation system

itself. Already Guédon identifies the emergence of a power structure formed at the scientific

0,0

5,0

10,0

15,0

20,0

25,0


(EXA) - 5


(AGR) - 4


(SOC) - 7

Engineering (ENG) - 4

Multidisciplinar (MULT) -

4

Health Sciences (HLTH) -

8

Human Sciences (HUM) -

8

Biological Sciences (BIO)

- 4

Linguistics, Letters and

Arts (LLA) - 2

field, whose components are institutions, associations and journals - that is involved in a

dense and complex web of interactions and influences, characterizing the scientific field.

"Institutions, associations and journals will also be relevant to any study of power and

competition in the social sciences and the humanities, but they will not work in the same way

as in science. Together, they form a national system of science" (Guédon, 2010, p. 26).

Table 2. Distribution of Assessment Areas (and respective Broad Area) by journal weight and

Impact Factor (JCR) required to get the highest stratum classification, grouped by usage or not

of book classification form and/or national journal SciELO indexing

At this context Qualis evaluation process is being developed, while it is always trying to

adjust the criteria to the specificities of each area, but always seeking to establish a high

standard of excellence, aiming to lead scientific production to most qualified vehicles.

Currently it is required that the higher stratum of the journals (A1 and A2) must contain no

more than 25% of the journals classified by the area and the number of journals comprising

the stratum A1 must be smaller than those classified as A2. This restriction was promptly

opposed by several areas - taking as an example the Public Health, because two very

important national journals that are doomed to second stratum (A2), what is a problem in one

area in which large percentage of the production is directed to the national reality and has no

significant international impact (ABRASCO, 2008). However the last triennial evaluation

Area % Area %

BIO 25% BIO2 14 4.7 BIO 25% BIO 3 20 4.9

ASTR, PHYS 17.5 6 MED 2 20 3.8

COMP 26 1.4 MED 1 20 3.8

ENG 4 17.5 1 DENT 20 3.1

ENG 3 17.5 - MED 3 20 3

18.5 3.3 CHEM 21 4

GEOSC 24 2.8

MATH, PROB, STAT 26 1

VET-MED 22 2.6

AGRIC 22 2

MULT 25% MATER-SCI 17.5 1

ENG 25% ENG 2 20 1

21.0 2.7

Area % Area %

BIOTECH 16 5 HLTH 13% PUB-HEAL 16 4

SCI&MATH -TEACH 17.5 - GEOGR 14 0.5

BIO 1 15.8 4.1 PSYCH 17.5 -

ECOL, ENV 20 3 POL-SCI, INT-REL 24 -

FOOD S&T 22 2.6 SOCIOL 20 -

AN-SCI, FISH 22 2 ANTR, ARCH 16 -

PHARM 16 3 HIST 14 -

PHYS-EDUC 16 1.9 URB&REG-PLAN, DEMOG 17.5 -

NURS 16 0.8 SOC-SERV, DOM-ECON 16 -

ENG 25% ENG 1 17.5 0.8 APP-SOC-SCI 16 -

BUS, ACC, TOUR 22.8 0.5 LAW 16 -

ECON 22.8 - MULT 25% INTERD 21 -

ARCHT, URB, DESN 16 - 17.3 2.3

PHIL, THEOL 17.5 -

EDUC 17.5 -

LETT. LING 20 -

ART, MUSC 12 -

18.1 2.4

Journal

weight (%)IF JCR

Group 1: No books | Yes SciELO Group 2: No books | No SciELO

Group 3: Yes books | No SciELO Group 4: Yes books | Yes SciELO

Journal

weight (%)IF JCR

Journal

weight (%)IF JCR

Journal

weight (%)IF JCR

57%

25%

100%

Broad AreaAssessment Area

Broad Area

Broad Area Broad Area

Avarage

Avarage

HUM

SOC

40%

50%

50%

50%

50%

38%

43%

75%

EXA

ENG

MULT

BIO

AGR

HLTH

LLA

Avarage

50%HLTH

EXA 60%

AGR 50%

Assessment Area

Avarage

Assessment Area Assessment Area

SOC

HUM

document (2007-2009) shows a remarkable advance by considering national journals indexed

in SciELO, as we observed on this study, mostly on Group 4.

The outcome is in line with the evaluation studies carried out in some countries where there is

also a preoccupation with differences between the areas and the different forms of

communication. Among then we highlight Larivière et al (2006) who claim that "while the

validity and appropriateness of bibliometric methods are largely accepted in the natural

sciences, the situation is more complex in the case of the social sciences and humanities". To

the authors, "evaluations based only on measures obtained from journal databases are more

likely to be less than adequate for disciplines in which less than 50% of references are made

to journal articles than for those in which these references account for more than 50%”.

Final remarks

The results here presented show groups of AAs at different stages of the scientific

communication process. There are areas in which publications occurs primarily on indexed

international journals, otherwise there are areas proposing specific criteria to evaluate the

quality of national journals. There are also areas that are in the process of establishing their

journals, and others being forced to publish on journals.

Various adjustments can be observed in passing periods, and a longitudinal approach of this

analysis will be undertaken soon.

Acknowledgments

We acknowledge FAPESP, that supports the Young Investigators Awards project, intitled

Scientific assessment in Brazil: study of scientific communication in scientific areas - Grant

number 2012/00255-6iii.

References

ABRASCO (2008). Nota do fórum de coordenadores de Programas de Pós-Graduação em saúde

coletiva sobre o novo Qualis Periódicos. Saúde e Sociedade, 17 (4).

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2004). QUALIS:

Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação, 1 (1), 149-151. Retrieved January 14, 2013 from: http://www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf.

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2011). Critérios de

avaliação. Retrieved December 7, 2011 from: http://www.capes.gov.br/avaliacao/criterios-de-avaliacao.

Guédon, J. C. (2010). Acesso Aberto e a divisão entre ciência predominante e ciência periférica. In:

Ferreira, S.M.S.P. & Targino, M.G. (Orgs). Acessibilidade e visibilidade de revistas científicas

eletrônicas (pp. 21-77). São Paulo: Senac/CENGAGE Learning.

Hicks, D. (2004). The four literatures of Social Science. Retrieved January 12, 2013 from: http://works.bepress.com/diana_hicks/16.

Larivière, V. et al. (2006). The Place of Serials in Referencing Practices: Comparing Natural Sciences

and Engineering with Social Sciences and Humanities. Journal of the American Society for

Information Science and Technology, 57 (8), 997–1004.

Leite, P.; Mugnaini, R.; Leta, J. (2011). A new indicator for international visibility: exploring

Brazilian scientific community. Scientometrics. 88: 311-319.

Souza E. P.; Paula M. C. S. (2002). QUALIS: a base de qualificação dos periódicos científicos

utilizada na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, 10 (2), 7-25. Retrieved August 1, 2011 from: http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.pdf.

Trigueiro, M. G. S. (2001). A comunidade científica, o Estado e as universidades, no atual estágio de

desenvolvimento científico tecnológico. Sociologias, 6, 30-50.

i http://www.capes.gov.br/avaliacao/tabela-de-areas-de-conhecimento ii http://www.capes.gov.br/avaliacao/coleta-de-dados iii http://www.bv.fapesp.br/en/auxilios/48066/scientific-assessment-brazil-study-scientific/

GT7 2361

C O M U N I C A Ç Ã O O R A L

MAPEAMENTO DO USO DE ÍNDICES DE CITAÇÃO E INDICADORES BIBLIOMÉTRICOS NA AVALIAÇÃO DA

PRODUÇÃO CIENTÍFICA BRASILEIRA

Rogério Mugnaini, Denise Peres Sales

RESUMO

O objetivo deste estudo foi mapear o uso dos índices de citação e indicadores bibliométricos pelas

se que 37 áreas de avaliação (ou 80,4% do total) pautam-se na Web of Science/Journal Citation Reports

A1. O nível do Fator de Impacto mínimo exigido no referido de estrato varia de 6,0 (Astronomia / Física)

mapeamento dos critérios das áreas de avaliação, nota-se alguma uniformidade nas grandes áreas. A utilização generalizada dos índices de citação inclui áreas de menor tradição de publicação internacional – Ciências Humanas e Ciências Sociais Aplicadas – que apesar de não se basear num indicador exige a indexação dos periódicos nos índices internacionais. O Índice H evidencia sua utilidade complementar ao Fator de Impacto (principalmente nas áreas da Saúde), mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem vir a fazer uso desta alternativa. Finalmente, destaca-se a importância de uma análise comparativa dos critérios de avaliação das diferentes áreas, uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre pautadas nos logros já evidenciados por outras áreas de avaliação.

Citação; Indicadores Bibliométricos.

ABSTRACT

This study aimed to map the usage of citation indexes and bibliometric indicators, by the diverse

GT7 2362

Physics) to 0.5 (Business Administration, Accounting & Tourism and Geography). Most of the areas

do not mention the JCR edition used. Despite of the diversity of the presented scenario showed by

areas. The generalized utilization of citation indexes includes areas less internationally productive

– Humanities and Applied Social Sciences – that require journal indexing in international indexes,

instead of setting a level to an indicator. H index begins to be used to complement the Impact Factor

(principally in Health Sciences), showing the Scopus utilization, and suggesting an alternative way to

other areas. Finally, we highlight the importance of a comparative analysis of the evaluation criteria

of different areas, since many criticisms have been made by researchers of their own area, but has not

always been as evidenced by achievements in other areas of evaluation.

Keywords:

1 INTRODUÇÃO

O processo de Avaliação da Pós-Graduação no Brasil vem sendo desenvolvido ao longo

dos últimos 35 anos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)

(MOREIRA; HORTALE; HARTZ, 2004; SPAGNOLO; SOUZA, 2004). Porém, uma reformulação

PAULA, 2002, p. 7).

veículos utilizados pelos programas de pós-graduação para publicação de sua pesquisa. Este processo

(SOUZA; PAULA, 2002; CAPES, 2004).

Um olhar atento aos critérios propostos, a partir dos documentos de área (CAPES, 2011b),

diversidade também poder ser observada a partir dos diversos artigos publicados na Revista Brasileira

de Pós-Graduação, que criticam ou oferecem alternativas ao esquema de avaliação da respectiva área,

a cada triênio.

observado desde o triênio 2001 - 2003, principalmente nas ciências Exatas, Biológicas e Saúde

(MUGNAINI, 2006). Apesar dos resultados de Mugnaini sinalizarem que os critérios pautavam-se

no Fator de Impacto, tal constatação se deu a partir da observação da média do indicador para os

periódicos dos diferentes estratos – uma vez que os documentos de algumas áreas começavam a

GT7 2363

sinalizar o uso do Fator de Impacto entre os critérios de avaliação dos periódicos naquele triênio1.

No triênio mais recente (2007 - 2009) os documentos são muito mais detalhados e permitem análises

deste e de outros aspectos dos critérios.

A comodidade do uso do indicador é um consenso em algumas áreas, mas é alvo de muitos

questionamentos em outras, como é caso das subáreas de Ciências Biológicas I, taxonomia e sistemática

biológica, nas quais as citações passam a ser concedidas normalmente após os dois anos considerados

no cálculo do Fator de Impacto (MELO; CARVALHO, 2005). Já Alves (2004), completa advertindo

fracassada, uma vez que são raras as revistas que aceitam trabalhos taxonômicos restando, para os

trabalhos nessa área os níveis menos valorizado nos critérios de avaliação.

Rosa (2010) analisou os critérios de avaliação da área de Educação Física, que segundo a autora

revela múltiplas identidades, uma vez que suas origens estão nas Biologia, História Natural e Física, e mais

recentemente passa a agregar saberes das Ciências Humanas. Essa diversidade foi observada na produção

pautados no nível das revistas internacionais de Ciências Biológicas.

Apesar do uso do Fator de Impacto por parte de algumas áreas, nota-se que diversas bases

de dados são consideradas para avaliação dos periódicos. Dentre elas, os índices de citação têm

proeminência, e o uso de variados indicadores de citação se torna cada vez mais recorrente, já podendo

ser observado mesmo entre as Ciências Humanas e Sociais Aplicadas.

Quatro índices de citação vêm sendo utilizados pelas áreas: Web of Science (WoS), Scopus,

SciELO e Google Acadêmico (usado apenas pela Ciência da Computação); e algumas fontes de

indicadores deles decorrentes: Journal Citation Reports (JCR) – produto da WoS –, e SJR - SCImago

Journal & Country Rank – que usa a base Scopus como fonte de dados.

desenvolvendo um importante papel no processo de desenvolvimento dos periódicos nacionais,

Deve-se destacar o processo de seleção de novos periódicos, cujos critérios2 têm dinamizado o

desenvolvimento dos periódicos nacionais. Permite que editores possam avaliar o impacto nacional

dos periódicos, valendo-se de um Módulo de Bibliometria com indicadores similares aos do JCR.

A Scopus é a alternativa mais recente, oferecida pela Elsevier, editora comercial, com uma

proposta de disponibilizar uma cobertura mais abrangente de periódicos nacionais e regionais –

principalmente aqueles publicados em países de língua não-inglesa, consistindo o principal diferencial

1 Avaliação Trienal 2004 (triênio 2001 - 2003). Disponível em <http://www.capes.gov.br/avaliacao/criterios-de-avaliacao/2285>. Acesso em 01 ago. 2011.

GT7 2364

SCImago, tem cooperado para a divulgação da base no Brasil, dada a disponibilidade de uma série de

novos indicadores bibliométricos3 a partir dos dados daquela base. Em especial o SCImago Journal

pelo fato da Scopus indexar um maior número de periódicos nacionais, em comparação com a WoS.

Porém esta vantagem da Scopus vem sendo superada pela Thomson Reuters4

critérios de seleção de periódicos da WoS para aumento da cobertura, passando a incluir periódicos que

tratam de temáticas de reconhecida importância em nível regional – a expansão ocorreu no período de

2007 a 2009 e fez com que o Brasil, de 27 periódicos indexados em 2005, viesse a alcançar a marca de

132 periódicos em 2010 (TESTA, 2011). Até então, essa exigência focava o reconhecimento mundial,

ou a ciência mainstream, porém seus critérios não eram explicitados publicamente.

Todas estas iniciativas deram lugar à recente indexação de um número considerável de

dos documentos de área publicados no Qualis.

2 METODOLOGIA

O método de pesquisa utilizado foi o de análise de conteúdo (LEVIN; FOX, 2004), tendo com

material de análise os documentos de área propostos pelas comissões das 46 áreas de avaliação do

oferecem, os documentos foram descarregados do sítio web da Capes5 entre os meses de maio e julho

de 2011. Foi elaborada uma planilha em Microsoft® Excel 2007 para coleta, registro e armazenamento

dos dados de cada uma das áreas de avaliação.

uma vez que a grande incidência de uso de índices de citação ocorre neste estrato. Somente em alguns

casos, como por exemplo a área de Direito, a condição envolveu também o estrato A2, uma vez que

este extrato exige indexação na WoS, Scopus ou SciELO, e o estrato A1 exige que o periódico supere

As informações de interesse foram: Área de avaliação Qualis; Grande área; Índice(s) de

citação e Indicador(es) bibliométrico(s) utilizado(s) e respectivo valor.

3 SCImago. SJR - SCImago Journal & Country Rank. Disponível em: <http://www.scimagojr.com>. Acesso em 01 ago. 2011.

5 Avaliação Trienal 2010 (triênio 2007 - 2009). Disponível em <http://www.capes.gov.br/avaliacao/documentos-de-area->. Acesso em 01 ago. 2011.

GT7 2365

3 RESULTADOS

que as Ciências da Saúde, Humanas e Sociais Aplicadas são as que apresentam maior número de

áreas de avaliação Qualis, enquanto que Lingüística, Letras e Artes apresenta o menor número, e as

Quanto ao uso das bases de dados, 37 áreas de avaliação (ou 80,4% do total) pautam-se na

o número de áreas de avaliação é de 17 (37%) e 18 (39,1%), respectivamente.

de Ciências Agrárias, Biológicas, Saúde, Exatas e da Terra e Engenharias. Na área Multidisciplinar

Ciências e Matemática; seguido da área de Ciências Sociais Aplicadas, com 71,4% de áreas que

usam a base, com duas exceções: Arquitetura e Urbanismo e Planejamento Urbano e Regional /

e Artes, que não considera nenhuma base para composição de seu Qualis.

Quanto à utilização das bases SciELO e Scopus nota-se um padrão de uso muito similar.

Deve-se portanto, destacar o uso mais acentuado da Scopus na composição dos critérios de área e

avaliação de Ciências da Saúde; e da SciELO em áreas de Ciências Exatas e da Terra, Multidisciplinar

e Ciências Humanas. Uma análise mais detalhada das áreas de avaliação que utilizam estas bases será

apresentada mais adiante.

de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas de avaliação

Qualis.

� �� ! �� " � � � � � � � �# $ � � � � � � � % � � � � � � �� % � � � � � � � & �� ' $ ( � � � � � �) � � $ * � � � � + ) � � � � � � � � � � � , �- . / / 0 1 2 3 4 / 5 4 6 7 /

GT7 2366

Ao analisar o Quadro 1 pode-se perceber que a maioria das áreas utilizam o Fator de Impacto

Sociais Aplicadas e Humanas apenas exige que o periódico esteja no JCR; como exceções, as áreas

um Fator de Impacto mínimo de 0,5; e a Economia (Sociais Aplicadas) compôs um ranking de citação

Quanto ao nível do Fator de Impacto, 6,0 é o valor mais alto (Astronomia / Física) e 0,5 o mínimo

(áreas supracitadas). Analisando as grandes áreas do Quadro 1 pode-se notar uma concentração de

áreas de Ciências Biológicas, seguidas de áreas de Ciências da Saúde, Ciências Agrárias e Engenharias.

sob a grande área Multidisciplinar (com destaque para a área de Biotecnologia, na segunda posição).

do estrato A1, segundo grande área do conhecimento e área de avaliação Qualis.

GT7 2367

Ao se considerar o valor adotado para composição do critério, pelas diversas áreas, evidencia-

se um ordenamento das grades áreas, tendo as Ciências Biológicas com maiores valores, seguida

das Ciências da Saúde, Exatas, Agrárias e Sociais e Humanas. Tal ordenamento é aproximadamente

observado quando se compara, tanto o Índice H dos pesquisadores da Academia Brasileira de Ciências

(MUGNAINI; PACKER; MENEGHINI, 2008), quanto a tendência de publicação internacional dos

pesquisadores, a partir dos currículos Lattes (LEITE; MUGNAINI; LETA, 2011).

• apresentam dois níveis de Fator de Impacto: maior exigência quando o periódico é de

outra área (Educação Física, Enfermagem e Engenharia IV);

• apresentam dois níveis de Fator de Impacto: de acordo com subáreas (Ciências

Biológicas I);

• considera em conjunto com o Fator de Impacto o indicador Meia-Vida: exigindo que

o alto nível de citação que o periódico recebe de se manter por um período mais

longo, após a publicação do mesmo (Matemática / Probabilidade e Estatística);

• baseia-se na mediana do Fator de Impacto de todos os periódicos informados no

Coleta Capes.

documentos da maioria das áreas de avaliação (caso observado em 20 das áreas), não sendo possível

inferir que edição foi efetivamente consultada. As edições citadas são dos anos 2008 (5 áreas), 2007

(4 áreas) e 2006 (1 área), e a área de Astronomia / Física é uma exceção, que utiliza a média do Fator

de Impacto das edições de 2005 a 2007.

8 9 :; < 8 9 : ; < < => 8 9 : ; < < ?@8 9 : ; < < AB8 9 : C ; < < > D; < < ? EBF G HAI J GKAs edições do JCR são divulgadas normalmente em meados do ano posterior. Dessa forma,

GT7 2368

pode-se imaginar que a última versão recente pode ter sido a escolhida pelas áreas, o que não pode

Com respeito aos demais índices de citação utilizados, e considerando que o Google Acadêmico

é utilizado apenas pela área de Ciência da Computação, resta avaliar uso que vem sendo feito das

bases Scopus e SciELO.

O Quadro 2 permite observar que 24 áreas de avaliação (ou 52,2%) não utilizam

nenhuma das duas bases, e destas, apenas 6 áreas tampouco utilizam o JCR/WoS – ou seja, não

Educação (Ciências Humanas), Arquitetura e Urbanismo (Ciências Sociais Aplicadas), Letras

/ Linguística e Artes / Música (Linguística, Letras e Artes), Ensino de Ciências e Matemática

(Multidisciplinar).

Por outro lado, quatro áreas não usam Scopus, mas usam SciELO: Astronomia / Física

(Ciências Exatas e da Terra), Antropologia / Arqueologia (Ciências Humanas), Planejamento Urbano

Ao contrário, existem cinco que usam somente Scopus: predominando áreas de Ciências da

Saúde, que são Odontologia, Farmácia, Enfermagem e Educação Física; e uma área de Ciências

Sociais Aplicadas (Administração, Ciências Contábeis e Turismo).

estrato A1, apenas Sociologia não utiliza JCR/WoS. Entre as doze restantes, que fazem uso das três

bases, é interessante destaca cinco, que apenas consideram a indexação nas mesmas, em detrimento de

um indicador: Ciência Política e Relações Internacionais e História (Ciências Humanas); e Psicologia,

Direito e Serviço Social (Ciências Sociais Aplicadas).

E pelo fato do Índice H ser o único indicador utilizado de forma alternativa – ou complementar

– ao Fator de Impacto, o Quadro 3 permite observar as áreas de avaliação que o utilizam, assim como

a base de dados de onde se obteve o mesmo.

Pode-se perceber que predominam áreas de Ciências da Saúde , conforme já se havia observado

índice H, enquanto que a Ciência da Computação, conforme já se havia mencionado, utiliza-o na

composição se seu próprio indicador. Vale observar que estas seis áreas consideram também o Fator

de Impacto no JCR, bastando portanto o periódico cumprir uma das condições – valor mínimo do

Fator de Impacto ou do Índice H.

de avaliação de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas

de avaliação Qualis.

GT7 2369

L M N O P L L Q R S T N U V W X Y V Z [ \ ] ^ _ ^ V Z [ `U V W X Y V Z [ a V b c d ] V Y Z [ eU V W X Y V Z [ f Z g Z h f i eU V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z eU V W X Y V Z [ n o p Z X Z [ qU V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ qj X ] i X s Z ^ V Z [ qt V X ] o u [ l V Y Z v t i l ^ Z [ i \ ^ l i [ qw o c l V f V [ Y V r c V X Z ^ ex y z { | z } ~ � � � �U V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z �U V W X Y V Z [ n o p Z X Z [ �U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ �w o c l V f V [ Y V r c V X Z ^ �� R � { | z } ~ � � �x y z { | z } ~ � � � �U V W X Y V Z [ f Z g Z h f i `U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ �x y z { | z } ~ � � �U V W X Y V Z [ a V b c d ] V Y Z [ �U V W X Y V Z [ f Z g Z h f i �U V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z �U V W X Y V Z [ n o p Z X Z [ �U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ ej X ] i X s Z ^ V Z [ q� R � { | z } ~ � � � e� R � { | z } ~ � � � �| z } ~ � � � � � � ~ � � � � ~ � R ~ � y z � � ~ � R � � �

x y z� � � � � z � � � � � ~ � � �� ~ � R ~ � y z � � ~ � R �� ~ � � � � � R x � � � ~ � y z � � ~ x � � � � � ~

� R � � R �x y z� R �

x y z

Merecem atenção as menções à base, que variam entre “SCOPUS” e “SCOPUS/SCImago”.

Os documentos não deixam claro se o uso do SCImago leva à adoção do segundo termo “SCOPUS/

SCImago”, pelo fato do grupo SCImago utilizar a Scopus como fonte de dados; e por outro lado a

menção “SCOPUS” não permite descartar a possibilidade da área ter utilizado dados do SCImago.

GT7 2370

do estrato A1, segundo base para cômputo do indicador, grande área do conhecimento e área de

avaliação Qualis.� � � � � � � � ¡ � ¢ £ � � � ¤ ¥ ¦ � § ¨ © ª « ¦ � ¡ ¬ £ � � � ¢ £ � ® ¯ ° ± ² ³ ´µ ¶ · ¸ µ ¹ ® ¸ ¶ ´ º » ¼ ½ µ ³ ¶ ´µ ¶ · ¸ µ ¹ ¯ ¼ ¹ ¾ ¿ ´ ² ¹ ¿µ ¶ · ¸ µ µ ´ À ® ¹ ¶ ± ¹ ° ³ Á ´Â Ã ° ¸ ¾ ³ µ ¿ ¶ Ä Å Æ Ç Ä È É µ Ê Ç Ä È Ä É ´ Ë Ì Ä Ç È Í È É· Î Ê Ë Ï Ð Ä Æ Í Ä Ç È Í Ê ÎÐ É Ë Ð Ç Ä Ñ Ä Ç Ê ¶ ³ Ò ¯ ¶ ³ ´ ® ´ ¶ ¿ · ¸ ° ´ º » ¶ Ä Å Æ Ç Ä È É ¹ Ó È Ô È É Ð Í È ° Ð Î Î È¶ Ä Å Æ Ç Ä È É Í È µ È Õ Í Ð

4 CONSIDERAÇÕES FINAIS

alguma uniformidade entre os critérios de áreas de avaliação pertencentes a uma mesma grande área.

Já se percebe que os índices de citação vêm sendo adotados amplamente – mesmo em áreas

que não faziam uso dos mesmos em triênios anteriores, como Ciências Humanas e Ciências Sociais

Aplicadas – ainda que não se paute num indicador, e se limite na exigência que o periódico seja

indexado na base de dados.

O Fator de Impacto é utilizado na maioria das áreas, o que já era se podia esperava dada a

tradição e popularidade do JCR, contudo não existe consenso sobre a edição do JCR utilizada para

Impacto, mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem

vir a fazer uso desta alternativa.

Finalmente, destaca-se a importância de uma análise comparativa entre as diferentes áreas,

uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre

pautadas nos logros já evidenciados por outras áreas de avaliação. Longe de almejar uma metodologia

padronizada, podem ser propostos ajustes para adequação dos critérios, que têm resultado de um

árduo debate dentro de cada área, por cada comissão dos diversos triênios.

GT7 2371

5 REFERÊNCIAS BIBLIOGRÁFICAS

JC e-mail, n. 2646, 12 nov. 2004.

Disponível em: <http://www.jornaldaciencia.org.br/Detalhe.jsp?id=23144>. Acesso em 01 ago. 2011.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).

WEBQUALIS, BBS (site). Disponível em: <http://qualis.capes.gov.br/webqualis>. Acesso em: 1

ago. 2011a.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).

CRITÉRIOS DE AVALIAÇÃO, BBS (site). Disponível em: <http://www.capes.gov.br/avaliacao/

criterios-de-avaliacao>. Acesso em: 1 ago. 2011b.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes):

Diretoria de Avaliação. QUALIS: Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação,

v. 1, n. 1, p. 149-151, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/downloads/

RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf>. Acesso em: 1 ago. 2011.

LEITE, P.; MUGNAINI, R.; LETA, J. A new indicator for international visibility: exploring Brazilian

Scientometrics, v. 88, p. 311-319, 2011.

LEVIN, J.; FOX, J. A Estatística para Ciências Humanas, 9a ed. São Paulo: Prentice Hall, 2004.

MELO, G. A. R.; CARVALHO, C. J. B. Impacto Profundo: o que o fator de impacto não nos revela.

JC e-mail, n. 2921, 22 dez. 2005. Disponível em: <http://www.jornaldaciencia.org.br/Detalhe.

jsp?id=34047>. Acesso em 01 ago. 2011.

MOREIRA, C. O. F.; HORTALE, V. A.; HARTZ, Z. A. Avaliação da pós-graduação: buscando

consenso. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 26-40, 2004. Disponível em: <http://

www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/26_40_avaliacao_da_

posgraduacao.pdf>. Acesso em: 12 set. 2006.

MUGNAINI, R.

impacto nacional versus internacional. São Paulo, 2006. 253 p. Tese (Doutorado em Ciência

da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo, 2006. Disponível

em: <http://www.teses.usp.br/teses/disponiveis/27/27151/tde-11052007-091052/publico/TESE_

mugnaini_r.pdf>. Acesso em: 01 ago. 2011.

MUGNAINI, R.; PACKER, A.L.; MENEGHINI, R. Comparison of scientists of the Brazilian

Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the

h-index. Braz J Med Biol Res, Ribeirão Preto, v. 41, n. 4, 2008. Disponível em <http://www.scielo.

br/scielo.php?script=sci_arttext&pid=S0100-879X2008000400001&lng=pt&nrm=iso>. Acesso em:

01 ago. 2011.

GT7 2372

ROSA, S. P. . Rio

de Janeiro, 2010. 197 p. Tese (Doutorado em Ciências . Área de concentração: Educação, Gestão e

Difusão em Biociências) - Universidade Federal do Rio de Janeiro, Instituto de Bioquímica Médica,

2010. Disponível em: <http://www.dominiopublico.gov.br/pesquisa/DetalheObraForm.do?select_

action=&co_obra=181373>. Acesso em: 01 ago. 2011.

na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, v. 10, n. 2, p. 7-25, 2002.

Disponível em: <http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.

pdf>. Acesso em 1 ago. 2011.

SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes? Revista Brasileira de Pós-

Graduação, v. 1, n. 2, p. 8-34, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/

downloads/RBPG/Vol.1_2_nov2004_/08_34_o_que_mudar_na_avaliacao_capes.pdf>. Acesso em:

12 set. 2006.

TESTA, J. The Globalization of Web of Science. Thomson Reuters Expert Essays, 2011. Disponível em:

<http://wokinfo.com/products_tools/multidisciplinary/webofscience/contentexp/expansionessay/>.

Acesso em 01 ago. 2011.

Regional Content Expansion in Web of Science: Opening Borders to Exploration.

consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

Documents