evaluación de scielo chile

Avaliação SciELO-Chile

Patricia Muñoz-PalmaPrograma de Información Científica – CONICYT – Chile

Atilio Bustos-González, SCImago Lab – EspañaPontificia Universidad Católica de Valparaíso – Chile

Plan de la presentación

• Contexto histórico • Metodología del estudio• Principales resultados• Algunas conclusiones• Desafíos

Contexto histórico

• Chile fue el primer país que acompañó a Brasil en la instalación de SciELO en el mundo.

• La gran socia de Abel Packer fue Anna María Prat.• SciELO inició sus operaciones en Chile en 1998, siendo

CONICYT el organismo nacional encargado implementar la metodología, construir la colección, y operar los servicios (Prat, 2000).

• En la experiencia chilena es muy difícil diferenciar los aportes de CONICYT de los de SciELO.

Fuente: Prat, Anna María. (2000). Programa Biblioteca Científica Electrónica en Línea, SciELO-Chile: una nueva forma de acceder a la literatura científica nacional. Biological Research, 33(2). En <http://www.scielo.cl/scielo.php? script=sci_arttext&pid=S0716-97602000000200003&lng=es&nrm=iso>

CONICYT- CHILE

Programa de Información Científica-CONICYT

Su propósito es fortalecer y asegurar el acceso a la información científica nacional e internacional para fines de investigación, educación e innovación.

Objetivos:

POTENCIAR LA VISIBILIDAD DE LA PRODUCCIÓN CIENTÍFICA NACIONAL JUNTO CON MEDIR CALIDAD Y SU IMPACTO.

DIVERSIFICAR LOS MECANISMOS DE ACCESO A LA INFORMACIÓN CIENTÍFICA COMO COMPONENETE DE LAS ACTIVIDADES DE I&D.

DISEÑO DE INSTRUMENTOS QUE PERMITAN REUTILIZAR Y GESTIONAR LA INFORMACIÓN CIENTÍFICA Y LOS DATOS DE INVESTIGACIÓN.

1

2

3

Acceso y Visibilidad

SciELO: Artículos científicos nacionalesConsorcio CINCEL: Artículos científicos internacionales RI

SciELOCINCEL

Sistema Nacional de Información

Científica

Acceso y preservación Patrimonio Científico NacionalRI 1: Proyectos de información referencialRI 2: Proyectos y artículos relacionados a textos completos

Acceso, difusión y evaluación

• Indicadores de productividad generada por proyectos CONICYT

• Indicadores de productividad nacional

Monitoreo de

producción

Acceso, difusión y transparencia• Acceso expertos por área• Facilitar contacto de pares• Visibilizar comunidad científica

Portal de Investigadores

Redes y vinculación

• Plataforma de colaboración científica de mayor impacto entre los investigadores de habla hispana, con presencia activa en más de 15 países de América Latina

RedCiencia

¿Por qué evaluar SciELO-Chile?

• Por ser uno de los componentes de la estrategia nacional de acceso a información científica.

• La evaluación es parte de la gobernanza de CONICYT.• Proceso que se debe aplicar a cualquier política pública

diseñada para intervenir en el sistema de C y T después de un periodo de tiempo.

• La Presidencia se adelantó a una evaluación del Ministerio de Economía.

• La evaluación es parte de la estrategia destinada a tener evidencia para defender y rediseñar el programa.

¿Para qué evaluar SciELO-Chile?

Contar con una línea base de información e indicadores que faciliten la toma de decisiones.

• Verificar si la misión y objetivos declarados por SciELO –Chile, se han cumplido y grado de eficiencia en su ejecución (declaración política y pública).

• Conocer impacto del instrumento en el sistema de ciencia y tecnología y sus externalidades positivas.

• Analizar cualitativamente de la colección de revistas indexadas en SciELO Chile.

Preguntas de investigación1. ¿Cuál es el impacto de SciELO-Chile sobre la formación de pregrado?

2. ¿Cuáles son las prácticas de los académicos para estimular el uso de SciELO-Chile en los estudiantes?

3. ¿Cuáles son los hábitos de los estudiantes en relación con el uso de revistas incluida en SciELO-Chile?

4. ¿Cuáles son los hábitos de los académicos e investigadores en relación con el uso de la SciELO-Chile?

5. ¿Por qué son tan altas las estadísticas de acceso a SciELO-Chile?

6. ¿Existen usos de SciELO-Chile no previstos en el diseño del programa?

7. ¿Cuál es el grado de conocimiento, uso y valoración que los alumnos hacen de SciELO-Chile?

8. ¿Cuál es el grado de conocimiento, uso y valoración que los académicos hacen de SciELO-Chile?

9. ¿Cuál es el grado de conocimiento, uso y valoración que los investigadores hacen de SciELO-Chile?

10. ¿Cuál es el grado de conocimiento, uso y valoración que los editores tienen de SciELO-Chile?

11. ¿A juicio de los editores cuáles son las fortalezas y debilidades de SciELO-Chile?

12. ¿Cuál ha sido el efecto de la existencia de SciELO-Chile sobre la visibilidad, calidad e impacto de la ciencia generada en Chile y en la región?

13. ¿Cuáles son los campos temáticos en que SciELO-Chile es más valorado por diferentes audiencias?

14. ¿Se justifica la existencia de SciELO-Chile?

15. ¿Los servicios ofrecidos por SciELO-Chile responden a la promesa?

16. ¿Cuáles son las mayores críticas y recomendaciones que se realizan de SciELO-Chile?

17. Y más ¿..?

Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.

Metodología • Desarrollar una evaluación multidimensional. Cada dimensión requirió la

definición de una metodología específica, y generó un informe:• Estudio bibliométrico de las revistas SciELO-Chile.• Estudio de percepción de los usuarios de SciELO-Chile.• Estudio de impacto de SciELO-Chile en los estudios de pregrado.• Estudio de impacto de SciELO-Chile en la comunidad científica chilena y en la colaboración internacional.• Estudio de la cadena de producción de SciELO-Chile.

• Se trabajó con las 88 revistas vigentes que integraban SciELO-Chile a diciembre 2011.

• Los estudios bibliométricos, en todos los casos que fue posible, abarcaron la ventana temporal 1999-2011.

• Como fuente de datos bibliométricos se utilizó la base de datos comprensiva SCOPUS®.


HallazgosSciELO en la producción científica chilena

Evolución de la producción chilena total, de la comunicada en revistas SciELO-Chile y en revistas de la Red-SciELO

Fuente: Datos Scopus. Análisis: SCImago Research Group.

HallazgosSciELO-Chile en la producción científica OA

El 2011 un 24.8 % de la producción chilena, se publicó en revistas OA con acceso internacional inmediato (Scopus).

El 2011 un 11% de la producción científica mundial fue comunica en revistas OA con acceso inmediato (Scopus).

Fuente: Laakso and Björk. Anatomy of open access publishing: a study of longitudinal development and internal structure. MDC Medicine. 10, 124 (2012). doi:10.1186/1741-7015-10-124

HallazgosEspecialización temática y esfuerzo investigador

% de documentos por área temática publicados en revistas SciELO-Chile el 2011Fuentes: Datos - Scopus. Análisis - SCImago Research Group.

HallazgosEspecialización temática y esfuerzo investigador

Esfuerzo investigador total y en SciELO-Chile por área temática (con más del 4%) el 2011, comparado con producción chilena total del año 2011 en revistas Q1 e

impacto normalizado que alcanzó la producción científica chilena por área temáticaFuentes: Datos - Scopus. Análisis - SCImago Research Group.

Área temática

A Chile %

producción total 2011 en Scopus

B Chile %

producción en

SciElo-Chile 2011

Delta A-B

Chile % producción

total en Q1 2011

Chile Impacto

normalizado 2005-2011

Medicina 16,6% 33,0% -16,4% 29,36% 0,90Agricultura y ciencias biológicas 12,7% 17,5% -4,8% 42,70% 0,84Ciencias planetarias y de la tierra 9,9% 4,4% 5,5% 65,71% 1,25Física y astronomía 6,7% 0,0% 6,7% 67,72% 1,14Ciencias sociales 6,3% 14,7% -8,4% 25,25% 0,62Bioquímica, genética molecular y biología5,8% 2,1% 3,7% 42,20% 0,97Matemáticas 5,7% 0,2% 5,5% 45,72% 1,05Ingeniería 4,9% 3,2% 1,7% 39,61% 1,26Ciencias ambientales 4,2% 9,1% -4,9% 55,22% 0,93

HallazgosAporte SciELO-Chile a la visibilidad de las disciplinasCaso 1 - Revista indexada en SciELO-Chile y Scopus

Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.00

0.05

0.10

0.15

0.20

0.25

0.30

0.35

0.034

0.056

0.050

0.086

0.1070.137

0.100

0.182

0.285

0.246

0.323

0.309

0.142

0.096

0.100

0.097

Chile-Mundo Revista-Mundo

Impa

cto

norm

aliz

ado

HallazgosAporte SciELO-Chile a la visibilidad de las disciplinasCaso 2 - Revista indexada en SciELO-Chile, Scopus y WoS

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

0.991

0.820

1.010

0.891

1.046

1.130

0.961

1.240

1.359

1.205

1.4911.460

0.240

0.435

0.416


Impa

cto

Nor

mal

izad

o

Mundo



1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.0

0.1

0.2

0.3

0.040

0.018 0.0200.032

0.039

0.074

0.055

0.078

0.123

0.000

0.162

0.200

0.187

0.173


Impa

cto

Nor

mal

izad

o

Mundo

Hallazgos Aporte SciELO-Chile a la visibilidad de las disciplinasCaso 3 - Revista indexada en SciELO-Chile y Scopus

Hallazgos Impacto

Distribución porcentual de revistas Red-SciELO por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

Hallazgos Evolución de la proporción de publicaciones e impacto normalizado por cuartil de revista de publicación

Año % Q1Normalized

citation in Q1% Q1

Normalized citation in Q1

% Q1Normalized

citation in Q1% Q1


% Q1Normalized

citation in Q1

2003 45,68% 1,15 46,95% 1,09 53,04% 1,21 60,19% 1,29 46,65% 1,252004 42,71% 1,21 45,76% 1,15 54,68% 1,25 53,66% 1,39 41,18% 1,342005 38,73% 1,37 39,74% 1,23 51,58% 1,24 50,23% 1,33 44,56% 1,432006 33,43% 1,31 37,53% 1,27 49,34% 1,41 43,92% 1,39 34,44% 1,592007 33,04% 1,33 37,34% 1,32 47,08% 1,39 43,71% 1,42 33,77% 1,772008 31,41% 1,38 36,66% 1,35 46,46% 1,52 41,47% 1,39 28,69% 1,522009 29,51% 1,40 34,69% 1,50 44,01% 1,53 40,49% 1,53 25,62% 1,592010 28,82% 1,39 33,59% 1,42 42,76% 1,46 40,77% 1,48 24,77% 1,772011 29,75% 1,49 35,98% 1,65 44,32% 1,75 42,93% 1,75 27,50% 2,34

Brazil Mexico Argentina ColombiaChile

Año % Q2Normalized

citation in Q2% Q2


% Q2Normalized

citation in Q2% Q2


% Q2Normalized

citation in Q22003 37,65% 0,68 39,41% 0,51 37,88% 0,63 30,84% 0,70 42,44% 0,552004 40,65% 0,67 37,70% 0,56 39,31% 0,65 38,49% 0,68 38,53% 0,502005 39,43% 0,70 38,16% 0,58 39,81% 0,63 37,70% 0,69 33,16% 0,632006 38,57% 0,71 35,99% 0,62 38,64% 0,73 36,56% 0,76 39,00% 0,792007 38,32% 0,70 37,22% 0,60 41,57% 0,67 34,87% 0,72 33,82% 0,652008 35,55% 0,73 29,85% 0,72 34,58% 0,74 32,27% 0,81 26,91% 0,892009 31,98% 0,68 28,89% 0,66 34,49% 0,69 31,06% 0,68 22,90% 0,802010 30,88% 0,71 30,68% 0,71 33,39% 0,73 33,41% 0,71 22,05% 0,852011 29,35% 0,69 30,00% 0,71 33,30% 0,70 31,26% 0,75 23,67% 0,81

Brazil Mexico Argentina Chile Colombia

Año % Q3Normalized

citation in Q3% Q3


% Q3Normalized

citation in Q3% Q3


% Q3Normalized

citation in Q32003 23,41% 0,38 17,47% 0,32 18,30% 0,28 16,29% 0,41 23,65% 0,382004 23,45% 0,39 21,25% 0,29 17,64% 0,30 16,91% 0,37 28,31% 0,262005 25,98% 0,40 24,07% 0,28 17,11% 0,35 19,88% 0,38 27,43% 0,302006 32,76% 0,38 26,81% 0,29 23,20% 0,33 25,82% 0,40 32,39% 0,262007 33,93% 0,40 27,88% 0,34 21,74% 0,43 29,07% 0,35 35,76% 0,352008 36,46% 0,41 32,00% 0,34 24,62% 0,47 28,00% 0,48 32,14% 0,442009 38,95% 0,38 30,57% 0,34 25,31% 0,42 30,23% 0,42 34,10% 0,312010 36,28% 0,34 26,46% 0,34 24,15% 0,42 23,66% 0,39 26,75% 0,292011 32,88% 0,35 27,87% 0,37 26,24% 0,39 23,49% 0,43 26,58% 0,33


Año % Q4Normalized

citation in Q4% Q4


% Q4Normalized

citation in Q4% Q4


% Q4Normalized

citation in Q42003 9,30% 0,36 8,95% 0,36 7,37% 0,37 7,32% 0,40 7,42% 0,252004 8,60% 0,41 8,10% 0,41 6,36% 0,57 5,47% 0,60 8,33% 0,432005 7,46% 0,43 7,99% 0,33 7,74% 0,31 7,30% 0,81 9,34% 0,232006 10,99% 0,33 9,20% 0,24 6,55% 0,24 9,04% 0,24 8,23% 0,232007 12,66% 0,34 11,05% 0,34 9,41% 0,31 11,25% 0,34 14,70% 0,242008 13,57% 0,29 12,74% 0,24 11,63% 0,23 14,67% 0,37 25,27% 0,172009 13,89% 0,24 14,99% 0,23 13,05% 0,23 14,60% 0,29 27,74% 0,152010 17,51% 0,18 18,65% 0,20 14,99% 0,21 17,35% 0,35 29,58% 0,142011 21,14% 0,16 16,33% 0,19 13,73% 0,25 19,17% 0,24 25,96% 0,19


Sin cuartil, por debajo de estos impactos normalizados

Fuente: SCImago Institutions Ranking. Fuente de datos: Scopus.

Hallazgos Prestigio de la colección SciELO

Distribución porcentual de revistas Red-Scielo por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

1 32 45 6

Hallazgos Prestigio de la colección SciELO

Distribución porcentual de revistas Red-Scielo por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

1 32 45 6

Q1 Q2 Q3 Q4 Sin Q Rank

Argentina 1,1% 7,8% 14,4% 76,7% 5

Brasil 2,4% 8,3% 26,6% 30,6% 32,1% 1

Chile 1,1% 8,0% 23,9% 36,4% 30,7% 2

Colombia 0,8% 6,5% 22,0% 70,7% 6

México 5,9% 9,9% 15,8% 68,3% 3

Venezuela 5,8% 7,7% 40,4% 46,2% 4

n∑ SNIP 2011

media desviación estandar

coeficiente variación

mediana Moda Rank

Argentina 32 6,360 0,20 0,16 78,71 0,2 0,1 4

Brasil 215 96,226 0,45 0,35 77,32 0,4 0,0 1

Chile 57 19,780 0,35 0,25 71,16 0,3 0,0 2

Colombia 38 1,165 0,03 0,02 73,62 0,0 0,0 6

México 54 12,431 0,23 0,21 92,53 0,1 0,0 3

Venezuela 36 5,194 0,14 0,19 132,71 0,4 0,0 5

Resultados Impacto de la colección SciELO

Comparación de SNIP 2011 medio de colecciones Red-SciELOFuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

Created by Professor Henk Moed at CTWS, University of Leiden, Source-Normalized Impact per Paper (SNIP) measures contextual citation impact by weighting citations based on the total number of citations in a subject field. It is defined as the ratio of a journal’s citation count per paper and the citation potential in its subject field. It aims to allow direct comparison of sources in different subject fields. Fuente: JournalM3trics. http://www.journalmetrics.com/snip.php Consultado el 16.10.2013.

HallazgosSe confirma que SciELO-Chile es reconocido por gestores de políticas públicas, directivos universitarios y editores científicos, como un sello de calidad.


Conclusiones҉ Mientras en el mundo el 11% de la producción científica fue comunica en revistas OA, en Chile fue el 24,8%.҉ SciELO-Chile, si bien es comprensivo, a nivel de artículos mantiene una especialización temática en medicina y una parte significativa de las revistas son de ciencias sociales.҉ Algunas revistas que se internacionalizan, logran desempeños por encima de su comunidad disciplinaria local, favoreciendo su desarrollo.҉ Existe una proporción significativa de títulos que no alcanzan cuartil, mostrando estos un desempeño periférico.҉ Las mejores colecciones SciELO son las de Brasil y Chile. ҉ El prestigio y el impacto no son homogéneos en la Red-SciELO.҉ SciELO-Chile es reconocido como un sello de calidad.


Desafíos – SciELO ChileRevistas indexadas en SciELO- Chile

• Incrementar los niveles de calidad.

• Fortalecer la profesionalización de los editores.

• Internacionalizar las revistas: idioma, autores,

evaluadores, lectores.

• Diversificar los modelos de negocios.

• Fortalecer los canales de comunicación de confianza.

Desafíos – SciELO-Chile

Asociado a la gestión en CONICYT• Mejorar el impacto de las revistas actualmente

indexadas en SciELO Chile.• Fortalecer la cadena de producción con

plataformas de edición científica, que agilicen la evaluación y la publicación oportuna. (extracción de datos , web services, revistas editadas en OJS) etc.)

Desafíos SciELO-Chile

Asociado a la gestión en CONICYT• Potenciar la formación de editores profesionales.• Medir consumo de información, y no satisfacción o

demanda.• Implementar métricas que no estén solo enfocadas a

la citación. (visión global de la colección )• Incorporar proceso de auditorías y control de calidad

a las revistas para eliminar malas prácticas como: exceso de auto citación, y criterios que afectan a la visibilidad de la revista y se alejan de la calidad exigida por SciELO.

Desafíos SciELO-ChileAsociado a la gestión en CONICYT• Generar código de ética nacional que permita una

actuación única frente a conductas inadecuadas de autores o editores (ej. COPE).

• Servicio para la evaluación de pares, Base de datos de investigadores y evaluadores nacionales e internacionales.

• Diseñar e implementar plataforma de SciELO-Chile Datos, Acceso, preservación y transparencia de los datos de investigación utilizados en los artículos publicados en SciELO-Chile.

Parabéns SciELO

Patricia Muñoz-PalmaPrograma de Información Científica – CONICYT – Chile

Atilio Bustos-González, SCImago Lab – EspañaPontificia Universidad Católica de Valparaíso – Chile

evaluación de scielo chile

Documents