analysis of scientific domains using scopus-based scientometric tools: experiences of the scimago...
TRANSCRIPT
Analysis of scientific domains using Scopus-based
scientometric tools: experiences of the SCImago Research Group
Zaida Chinchilla RodríguezInstituto de Políticas y Bienes Públicos.
CSIC. SCImago Research Group.
I International Workshop on Scientometric Studies related to the Biomedical Sciences. CNIC, 2010. La Habana, Cuba.
Estructura de la presentación
1. Consideraciones generales sobre el análisis de dominios científicos. La necesidad de evaluar y evaluar qué?
2. Herramientas basadas en datos Scopus
3. Cuba en el contexto nacional, regional e internacional
4. Recomendaciones generales
Análisis cienciométricos ¿para qué?
• Necesidad de evaluar– Políticas públicas de ciencia y tecnología– Desarrollo de herramientas metodológicas– Fuentes de información científica– Batería de indicadores – Sistemas de información científica– Benchmarking
Instrumentosde
interface
Subsistemade
Generación de Conocimiento
Subsistemade
Innovación
Sistema Científico-Tecnológico
Inst
rum
ento
s de
Inte
rfac
e
Cuba
Cantidad y calidad• Políticas Científicas Distribución de fondos I+D
– Grupos excelentes, líneas prioritarias consolidadas (tamaño y visibilidad)
• Recuento de publicaciones = productividad investigadora
• Volumen/Tamaño no Repercusión/Visibilidad
• Indicadores de recuento se relacionan con la investigación de calidad, son los indicadores de citación los más próximos a este concepto.
• • Artículo se publica en una revista académica = proceso de revisión
inter pares, (signo de calidad).
• Pero…no supone más que una oferta a la comunidad científica. Es el uso lo que certifica el grado de calidad real de una contribución (artículo, libro, etc.)
Calidad• Calidad no es medible, no se reduce a un
número– Grado que un agente contribuye al progreso del
conocimiento– Capacidad de resolver problemas– Ofrecer nuevas ideas sobre la “realidad”– Desarrollo de nuevas tecnologías
• Comunidad científica quién pone la etiqueta. Son los pares los que determinan la superación de un umbral mínimo que pueda garantizar la calidad
Impacto/Visibilidad/Repercusión
• Influencia real de los resultados• Está afecta por factores:
– Ubicación del autor (institución, grupo)– El idioma o accesibilidad del canal de
comunicación usado– Campo temático
• Aspecto de calidad medible por indicadores cuantitativos
• Calidad-pares-cienciometría-complemento
Excelencia• Identificación de canales y elaboración de modelos de medición
• Denota superioridad comparativa. Los resultados superan un umbral prefijado
• Su identificación es necesaria para la potenciación de determinadas áreas pero puede incurrir en una exclusión de interés en otras.
• Ejes de actuación y estructuración del sistema de ciencia que permitan continuidad y atracción de recursos
• Detección de zonas de mejora para el establecimiento de redes de colaboración, la creación de una mayor interconexión entre los niveles micro-macro, estimular la movilidad y transferencia de conocimientos
Sistemas de evaluación
• Basado en canales de comunicación científica que aseguren la calidad
• Dos elementos esenciales:– Umbral mínimo de calidad– Ranking de publicaciones
• Los umbrales bajos reducen la visibilidad y por tanto, el impacto
• Los sistemas binarios no aseguran la calidad del conocimiento generado. Necesitamos sistemas difusos
• Los sistemas de evaluación deben ser adaptados periódicamente según la evaluación de resultados
Consideraciones metodológicasM
uestra d
e datos
Gauthier, E. (1998) Bibliometric Analysis of Scientific and Technological Research: A User's Guide to the Methodology. ST - 98 - 08, Canada: Observatoire des Sciences et des Technologies (CIRST).
Nivel d
e confian
za
• Ciencia Básica
• Ingeniería, informática
• Economía
• Humanidades
• Revistas internacionales
• Congresos, informes, patentes, revistas internacionales y nacionales
• Informes técnicos, revistas internacionales y nacionales
• Libros, monografías, revistas nacionales
GÓMEZ, I.; BORDONS, M. (1996 ). Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. Política Científica, 46:
Arbitradas (±30000)*
ISI-WOS (±9000)
SCOPUS (±17000)
Fuentes de datos
(*) Fuente UlrichsWeb
Resumiendo,
• Fuentes confiables que aseguren representatividad y calidad mínima
• Generación de indicadores de acuerdo a estándares internacionales
• Benchmarking global
• Categorización temática que permite la ubicación en contextos globales
• Inducción de mejores prácticas
Herramientas
Ejemplos para el caso de Cuba
Distribución regional de la producción
WESTERN EUROPE
EASTERN EUROPE
NORTHERN AFRICA
CENTRAL AFRICA
SOUTHERN AFRICA
NORTHERN AMERICA LATIN AMERICA MIDDLE EAST
ASIATIC REGION
PACIFIC REGION
1996 29,77 5,95 0,15 0,19 0,56 31,52 1,97 1,54 14,14 2,32
2000 30,66 5,90 0,20 0,18 0,52 28,56 2,50 1,61 16,29 2,44
2004 28,14 5,42 0,26 0,19 0,55 23,06 2,65 1,78 18,93 2,52
2008 28,08 5,34 0,37 0,28 0,65 22,32 3,41 2,39 25,36 2,89
0,00
4,00
8,00
12,00
16,00
20,00
24,00
28,00
32,00
58,30 50,72
326,85152,43 95,59
18,84190,47 160,62 200,94
108,87
0,00
500,00
aver
age
gro
wth
Citas por documento respecto al promedio mundial
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00
WESTERN EUROPE EASTERN EUROPE NORTHERN AFRICA CENTRAL AFRICA SOUTHERN AFRICA NORTHERN AMERICA LATIN AMERICA MIDDLE EAST ASIATIC REGION PACIFIC REGION
1996 2000 2004 2008 Average
WORLD
Ranking mundial de países (I)
Ranking mundial de países (II)
Evolución de la producción científica en los principales países latinoamericanos
Brasil México Argentina Chile Colombia Venezuela Cuba
2003 1,35 0,58 0,42 0,22 0,08 0,11 0,07
2004 1,41 0,58 0,40 0,22 0,08 0,10 0,07
2005 1,42 0,59 0,38 0,22 0,09 0,10 0,07
2006 1,74 0,63 0,39 0,26 0,11 0,09 0,09
2007 1,84 0,61 0,40 0,27 0,12 0,10 0,09
2008 2,01 0,63 0,43 0,29 0,16 0,10 0,10
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00
Ranking latinoamericano. Número de documentos
Datos sobre la producción cubana
Ranking latinoamericano. Impacto normalizado
Distribución temática (Cuba, Colombia y Chile)
Citas por documento por áreas
Fortalezas y debilidades
MED
BIO
CHEM
AGR
PHY
IMMU
EAR
ENV
MAT
NEU
ENG
CENG
PHAR
GEN
VET
PSY SOC
ENER
DECHEAL
NUR
DEN
ART
MATH
10000 documentos
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2
2,1
2,2
2,3
2,4
2,5
2,6
-0,90 -0,80 -0,70 -0,60 -0,50 -0,40 -0,30 -0,20 -0,10 0,00 0,10 0,20 0,30 0,40 0,50
attr
acti
vity
in
dex
activity index
WORLD
WORLD
Especialización temática, índice de atracción y volumen de producción en Medicina
Colombia
Cuba
Puerto Rico
Peru
Costa Rica
Panama
Trinidad y Tobago
Jamaica
Guatemala
BarbadosNicaragua
GuadaloupeBrazil
Mexico
Argentina
Chile
VenezuelaUruguay
Ecuador
Bolivia
250 documents
0,5
1
1,5
2
2,5
-0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4
activity index
attr
activ
ity in
dex
LATIN AMERICA
LATIN AMERICA
Volumen frente a Calidad (Áreas)
Volumen frente a calidad (categorías)
Patrones de citación
Patrones de publicación
Revistas cubanas en Scopus
¿Dónde se publica la ciencia cubana?
Principales revistas de publicación
Países de publicación, revistas y visibilidad
Publicación Q1 y la visibilidad (I)
Publicación Q1 y la visibilidad (II)
Evidencias
Evidencias (III)
Patrones de colaboración
Tipos de colaboración por áreas
Colaboración internacional de la medicina cubana.
Socios colaboradores
Colaboración interinstitucional en Medicina
Análisis institucional
Finlay Institute
Instituto Superior de Medicina Militar Dr. Luis Diaz Soto
Instituto Nacional de Oncología y Radiobiología
Universidad de La Habana
Instituto de Medicina Tropical Pedro Kouri
Centro de Ingenieria Genetica y Biotecnologia La Habana
Universidad Central Marta Abreu de Las Villas
Centro Nacional de Investigaciones Cientificas de Cuba
Hospital Clinico Quirurgico Hermanos Ameijeiras
Instituto de Ciencia Animal
Universidad de Oriente
Instituto Superior de Ciencias Medicas de La Habana
Centro de Quimica FarmaceuticaInstituto de Cibernetica, Matematica y Fisica
CNIC
Universidad de Matanzas Camilo Cienfuegos
Instituto Superior Politecnico Jose Antonio Echeverria
Agencia de Energia Nuclear y Tecnologias de Avanzada
Centro de Investigacion y Desarrollo de Medicamentos
Centro de Inmunologia Molecular
Centro Provincial de Higiene y Epidemiologia de Ciudad de La Habana
Instituto de Hematologia e Inmunologia
Hospital Psiquiatrico de La Habana Cdte. y Dr. Eduardo Bernabe Ordaz Ducunge
Centro Internacional de Restauracion Neurologica
Instituto Nacional de Neurología y Neurocirugía
Escuela Nacional de Salud Publica
Hospital Militar Universitarios J. Carlos Finlay
Instituto de Cardiología y Cirugía Cardiovascular
100 documentos
-0,1
0,1
0,3
0,5
0,7
0,9
1,1
1,3
-0,3 1,7 3,7 5,7 7,7
citas por documento
imp
acto
no
rmal
izad
o
Ranking Iberoamericano SIR 2010
Recomendaciones (I)• Convertir en objetivo institucional la visibilización de los resultados de
investigación tanto a nivel nacional e institucional:
– Desarrollar e impulsar el uso por parte de los investigadores de repositorios institucionales. Adhesión formal a las declaraciones de Berlin y Budapest
– Creación de un cosechador nacional de repositorios. Difusión en Google Scholar y otros difusores internacionales de los contenidos en repositorios
– Aprobación de un protocolo para la inclusión de trabajos vinculándolo con la concesión de incentivos.
– Implicar a los servicios de investigación, biblioteca y editorial en la visibilización internacional de la investigación
– Mejorar el posicionamiento web del ‘site’ institucional a fin de lograr una mayor presencia de los contenidos de investigación en el mundo científico.
Recomendaciones (II)
• Trabajar con los editores de las revistas para conseguir que mejoren sus posiciones en los índices internacionales o que accedan a ellos
• Minimizar el impacto de la publicación Q4 buscando mejores destinos de publicación con independencia de la vinculación del investigador con el editor de la revista (análisis diferencial por áreas)
• Fomento de la colaboración internacional dentro de intervalos de confianza del rango de las autorías.
Recomendaciones (III)• Aumentar la base de investigadores activos internacionalmente.
• Asegurar calidad homogénea en las diferentes áreas apoyándose en la colaboración internacional.
• Crear una unidad de apoyo a la publicación científica con tres misiones específicas:– Hacer el seguimiento de las prácticas de comunicación científica en
cada institución. Mejorar el conocimiento de los investigadores en lo referente a los procesos de comunicación científica. En particular, lo relativo a las publicaciones de su especialidad y su visibilidad en el mundo.
– Apoyar a los investigadores que lo necesiten en el proceso de traducción científica, corrección de estilo, adecuación a las normas para autores de las revistas y formateo de los documentos
– Difundir ente los investigadores los destinos de publicación por especialidades y rango de visibilidad para facilitar su selección
Gracias por la atención
Seguimos trabajando…
Analysis of scientific domains using Scopus-based
scientometric tools: experiences of the SCImago Research Group
Zaida Chinchilla RodríguezInstituto de Políticas y Bienes Públicos.
CSIC. SCImago Research Group.
I International Workshop on Scientometric Studies related to the Biomedical Sciences. CNIC, 2010. La Habana, Cuba.