Comparación entre Rankings de universidades e instituciones de investigaciónde Iberoamérica

Mario Fernández, Isidro F. AguilloJosé Luís Ortega, Begoña Granadino

CINDOC-CSIC. Madrid. España

Agenda

1. Rankings: Una nueva herramienta

2. Propuesta bibliométrica del grupo SCImago

3. Propuesta cibermétrica del InternetLab

4. Resultados globales

5. Análisis comparativo

6. Discusión, conclusiones y recomendaciones

1. Rankings: Una nueva herramienta

Rankings: Necesidad

Indicadores bibliométricos son insuficientes para descripción de escenarios multidimensionales

Combinación de indicadores puede ser compleja por la heterogeneidad de los datos Ordenes de magnitud diferentes entre artículos,

citas, patentes, autores, instituciones Importantes sesgos y asunciones erróneas

en las escalas con unidades agregadas Factor de impacto esperado vs citas reales Autoría completa vs fraccionada

Rankings: Ventajas

Posiciones relativas frente a valores absolutos favorece la precisión frente a la exactitud

Combinación de datos de muy diferentes fuentes y naturaleza

Re-escalado de escenarios globales y locales Transformación de distribuciones potenciales en

lineales Modelos teóricos y empíricos para probar número

de variables y peso relativo de cada una de ellas Comparación inter- e intra-institucional y evolución “Facilidad” de interpretación

Rankings: Inconvenientes

Excesiva atención a las posiciones relativas Indicadores elegidos según su

disponibilidad Dificultad de asignar pesos a los distintos

indicadores Posiciones difícilmente discernibles en la

cola Otros artefactos estadísticos

2. Ranking bibliométricos

Antecedentes

Producción científica medida mediante indicadores bibliométricos son parte principal de muchos Rankings Datos extraídos de las bases de datos del ISI

Academic Ranking of World Universities (ARWU) Producido por la Shanghai Jiao Tong University

Times Higher Education Supplement World University Rankings (THES) Elaborado por QS

Ranking SCIMAGO

SCImago es un grupo de investigación inter-universitario Universidades de Granada, Extremadura, Carlos III

(Madrid) y Alcalá de Henares El Grupo de Investigación SCImago, junto a

Universia, publica dentro de su proyecto Atlas de la Ciencia el Ranking Iberoamericano de Instituciones Investigadoras RI3

El único criterio es el número de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI (1990-2005)

Re-Ranking RI3

Diez países iberoamericanos Argentina, Brasil, Chile, Colombia, Cuba, España,

México, Perú, Portugal y Venezuela

Universidades, centros de investigación, hospitales, empresas Re-ranking con datos 2000-2005 Sólo entradas con producción total mínima de 100

artículos

3. Rankings cibermétricos

Antecedentes

Algoritmos de ordenación de resultados de búsquedas en motores PageRank de Google Clave del éxito de Google

Número de visitas a sedes Web Alexa TrafficRank Visitas interceptadas por el sistema. Sesgos de

cobertura

Web Impact Factor Resultados inconsistentes

Casos de éxito (I)

Casos de éxito (II)

Ranking Web El Laboratorio de Cibermetría (InternetLab) es un

grupo de investigación del CINDOC-CSIC El Laboratorio publica desde 2004 y con una

actualización semestral el Ranking Web de Universidades

El Ranking utiliza una combinación de indicadores cibermétricos obtenidos de los principales motores de búsqueda

Tamaño Web: Número de páginas en el dominioVisibilidad Web: Enlaces recibidos externosFicheros Ricos: Número de documentos en

formatos .pdf, .doc, .ps y .pptArtículos: Documentos recogidos por el Google

Scholar

Ranking Web (II)

Unas 11.000 universidades y más de 5.000 centros de investigación de todo el mundo son analizados

+10% son instituciones latinoamericanas

Top 200: Brecha digital académica México: UNAM (81ª del mundo) Brasil: Sao Paulo (97ª) y Campiñas (190ª) España: Universidad Complutense (162ª) Centros de investigación: CSIC (33ª)

4. Resultados globales

Resultados

Top 500 de cada uno de los rankings independientemente Re-ranking RI3 con datos 2000-2005 Re-ranking RW (Enero 2007) con 10 países

Solapamiento bajo 148 (29,6%) de Top RI3 no presentes en RW 217 (43,4%) de Top RW no presentes en RI3

Universidades 211 42% 344 69%Centros de investigación y otros 177 35% 153 31%Hospitales 104 21% 2 0%Empresas privadas 8 2% 1 0%

RI3 RW

Distribución Top 500

Perfil de los países

5. Análisis comparativo

Visión desde el ranking RI3Institución RI3 RWConsejo Superior de Investigaciones Científicas 1 7Universidade de Sao Paulo 2 1Universidad Nacional Autónoma de México 3 2Universidad de Barcelona 4 5Consejo Nacional de Investigaciones Científicas y Técnicas 5 221Universidad Complutense de Madrid 6 3Universidade Estadual de Campinas 7 4Universidad de Buenos Aires 8 20Universidade Federal do Rio de Janeiro 9 21Universidad Autónoma de Barcelona 10 9Universidad de Valencia 11 11Universidade Estadual Paulista Julio de Mesquita Filho 12 48Universidad Autónoma de Madrid 13 24Universidad de Santiago de Compostela 14 43Universidad de Chile 15 8Universidad de Granada 16 12Hospital Clínico y Provincial de Barcelona 17 1184Universidade do Porto 18 6Universidade Federal do Rio Grande do Sul 19 23Universidade Técnica de Lisboa 20 16

Visión desde el Ranking WebInstitución RW RI3Universidade de Sao Paulo 1 2Universidad Nacional Autónoma de México 2 3Universidad Complutense de Madrid 3 6Universidade Estadual de Campinas 4 7Universidad de Barcelona 5 4Universidade do Porto 6 18Consejo Superior de Investigaciones Científicas 7 1Universidad de Chile 8 15Universidad de Sevilla 9 23Universidad Autónoma de Barcelona 9 10Universidad de Valencia 11 11Universidad de Granada 12 16Universidade Federal de Santa Catarina 13 49Universidad Politécnica de Madrid 14 34Universidad Politécnica de Valencia 15 33Universidade Técnica de Lisboa 16 20Universidad Politécnica de Cataluña 17 24Tecnológico de Monterrey 18 191Universidad de Alicante 19 55Universidad de Buenos Aires 20 8

Comentarios

Existe una gran correspondencia entre las dos clasificaciones

Centros muy productivos en número de publicaciones tienen una baja presencia en la Web Especialmente los hospitales

El ranking Web favorece a las Universidades Técnicas y a las “Open Universities” (Tecnológico de Monterrey)

Cuestiones estructurales

Ley de los grandes números: Núcleo significativo más amplio en el ranking cibermétrico

Unidades dispares: No hay dominios o subdominios Web institucionales para ciertas organizaciones

Cobertura diacrónica (bibliométrica) vs sincrónica (cibermétrica)

Posibles sesgos: Biomedicina (ISI WoS) vs Tecnología (Web)

Cuestiones metodológicas

Sesgos de la bases WoK Cobertura de la región insuficiente Cobertura disciplinar (sociales, humanidades,

tecnologías) dispar Errores (>3%)

Problemas de estandarización: Entradas duplicadas Control de calidad en la colección de datos (semi-)

automática

Prácticas Web incorrectas Dobles (o triples) dominios Instituciones sin dominio propio Sesgos de los motores de búsqueda

6. Discusión y conclusiones

Conclusiones/recomendaciones Los Rankings ofrecen información valiosa para el seguimiento

del desempeño de las instituciones académicas y de investigación de la región No hay una alternativa viable hoy en día

Es necesaria una mayor calidad de los mismos, tanto técnica como científica, para evitar sesgos y resultados incorrectos Los rankings bibliométricos deben depurarse notablemente Más instituciones deben tener presencia Web independiente

Sin embargo, los resultados obtenidos son muy significativos y las dos propuestas pueden combinarse para obtener escenarios globales La producción científica debe incrementarse en otras áreas

diferentes a la biomedicina Existe una preocupante brecha digital académica no ligada

necesariamente a escasez de recursos económicos y/o tecnológicos

¡Gracias!: ¿Preguntas?

Ranking Web

http://www.webometrics.info

Ranking RI3

http://investigacion.universia.es/isi/isi.html

****