Uso y abuso del Uso y abuso del FFactor de actor de IImpactompacto

Félix de Moya AnegónFélix de Moya Anegón

Grupo SCIMAGOGrupo SCIMAGO

Universidad de GranadaUniversidad de Granada________________________

COLCIENCIAS, Bogotá, Diciembre 2005COLCIENCIAS, Bogotá, Diciembre 2005

Factores que influyen en el FIFactores que influyen en el FI

El campo científico y dentro de cada El campo científico y dentro de cada uno el nivel de generalizaciónuno el nivel de generalización

La antigüedad del trabajoLa antigüedad del trabajo La La relevancia socialrelevancia social del trabajo a del trabajo a

través de sus autores y/o revistatravés de sus autores y/o revista El tipo de documentoEl tipo de documento La La ventana de citaciónventana de citación La cobertura de la fuente (WOS-ISI)La cobertura de la fuente (WOS-ISI)

Arbitradas (±29000)*

ISI-WOS (±8000)

SCOPUS (±14200)

Revistas arbitradas en el mundoRevistas arbitradas en el mundo

(*) Fuente UlrichsWeb

Representación del FIRepresentación del FI

Influencias y sesgos en el cálculo del FIInfluencias y sesgos en el cálculo del FI

El periodo de observación afecta al resultadoEl periodo de observación afecta al resultado La tasa media de citación evoluciona de manera La tasa media de citación evoluciona de manera

distinta según la revista (fuente: 1980)distinta según la revista (fuente: 1980)

Impacto de los diferentes tipos de Impacto de los diferentes tipos de documentosdocumentos

# Journal Impact FactorTotal Articles Reviews Letters

1 SCIENCE 32.86 42.30 145.35 0.41

2 NATURE 32.88 49.73 96.07 3.93

3 LANCET 5.25 17.55 14.68 1.99

4 CELL 75.68 74.82 78.63 75.64

5 ANGEW CHEM INT ED 11.01 9.37 32.03 19.00

6 J ACQ IMMUN DEFIC SYND HUM R 4.05 4.64 39.00 1.04

7 INT J RAD ONCOL BIOL PHY 3.52 4.15 35.00 0.37

8 J PHYS CONDENS MATTER 2.72 2.47 9.57 3.99

FI por tipos de documentosFI por tipos de documentos

Influencia de los campos científicosInfluencia de los campos científicos

Tasa media de citación por campos científicos(fuente: 1996, ventana de citación: 1996-1998)

• Ingenierías 1.12• Matemáticas 1.46• Química analítica 3.00• Física de estado sólido 3.06• Neurociencias 4.54

Las medidas basadas en citación son – sin nomalización – inapropiadas para el análisis comparado de campos científicos.

La única forma posible de compensar las diferencias temáticas es una correcta normalización y la apliacción exacta del mismo período fuente y ventana de citación a todos los documentos objeto de análisis.

Los indicadores de citación pueden calcularse usando una referencia estandar basada en las revistas de las materias en las que los trabajos objeto de estudio han sido publicados:

Obstáculo: La asignación de categoría no es única por revista

• Relative Citation Rate (RCR): Cites per paper (CPP) / Journal Citation Score (JCS)

• Normalised Mean Citation Rate (NMCR): (CPP) Cites per paper / (FCS) Field Citation Score

• Factor de Impacto Tipificado: Distancia a la media del FI en la categoría / la desviación estandar de la distribución de impactos de la categoría temática

Sobre el papel del FISobre el papel del FI El FI de Garfield/ISI se ha convertido en factor crítico de la El FI de Garfield/ISI se ha convertido en factor crítico de la

investigación en bibliometría/ciencia de la informacióninvestigación en bibliometría/ciencia de la información El FI se usa frecuentemente en diferentes ámbitos y ha El FI se usa frecuentemente en diferentes ámbitos y ha

adquirido un sólida posición en el mercado de la adquirido un sólida posición en el mercado de la información científicainformación científica

Es fácil de calcular y fácil de interpretar, aunque es Es fácil de calcular y fácil de interpretar, aunque es frecuente que se haga un uso inapropiado del indicadorfrecuente que se haga un uso inapropiado del indicador

En origen, sólo representa la media de citas por trabajo en En origen, sólo representa la media de citas por trabajo en una revista y para un período concretouna revista y para un período concreto

Se puede considerar que por encima de cualquier otra cosa Se puede considerar que por encima de cualquier otra cosa mide la visibilidad internacional de los resultados de mide la visibilidad internacional de los resultados de investigación publicadosinvestigación publicados

Sin embargo, es posible su aplicación con las debidas Sin embargo, es posible su aplicación con las debidas cautelas para analizar dominios científicoscautelas para analizar dominios científicos

Problemas con el uso del FIProblemas con el uso del FI

La popularidad del FI radica en su La popularidad del FI radica en su comprensibilidad, aparente reproductibilidad y comprensibilidad, aparente reproductibilidad y estabilidadestabilidad

Esta misma popularidad está en el origen de Esta misma popularidad está en el origen de muchos de sus usos. El FI se usa con frecuencia muchos de sus usos. El FI se usa con frecuencia para sustituir la ausencia de información de para sustituir la ausencia de información de citacióncitación

Aunque se supone que mide el impacto de las Aunque se supone que mide el impacto de las revistas, está afectado por factores que nada se revistas, está afectado por factores que nada se relacionan con la relevancia científica de las relacionan con la relevancia científica de las mismasmismas

Aunque es una media, el tamaño de las revistas Aunque es una media, el tamaño de las revistas le afectale afecta

Problemas con el uso del FI (cont.)Problemas con el uso del FI (cont.)

La falta de ponderación de las citas La falta de ponderación de las citas recibidas por una revista es una limitación recibidas por una revista es una limitación reiterada por muchos especialistasreiterada por muchos especialistas

Existe un cierto sesgo en favor de las Existe un cierto sesgo en favor de las revistas con artículos mas extensosrevistas con artículos mas extensos

Como la obsolescencia de las ciencias es Como la obsolescencia de las ciencias es variable la ventana de citación de dos variable la ventana de citación de dos años favorece a unas y perjudica a otrasaños favorece a unas y perjudica a otras

No es adecuada la delimitación de No es adecuada la delimitación de documento citable documento citable

Incorrecta identificación de los Incorrecta identificación de los documentos citados (no normalizados)documentos citados (no normalizados)

Visibilidad Visibilidad versusversus FI FI

Publicar en una revista con mucho FI Publicar en una revista con mucho FI asegura visibilidad pero no alta citación asegura visibilidad pero no alta citación necesariamentenecesariamente

En muchos campos científicos es más En muchos campos científicos es más importante llegar a la audiencia adecuada importante llegar a la audiencia adecuada que tener muchaque tener mucha

El FI no puede medir todos los aspectos El FI no puede medir todos los aspectos que deben ser tenidos en cuenta en los que deben ser tenidos en cuenta en los procesos de evaluación de la investigación procesos de evaluación de la investigación tanto tanto ex-anteex-ante como como ex-postex-post

El mito del reconocimiento tardíoEl mito del reconocimiento tardío

Un argumento reiterado sobre las limitaciones de los indicadores basados en citación es que trabajos importantes nunca recibieron citas en principio sino muchos después de su aparición. Citas que se realizan una vez cerrada la ventana de citación usada para calcular el FI

Existe evidencia suficiente de que un trabajo que no ha sido citado cinco años después de ser publicado, veinte después tampoco lo es. Incluso en áreas con tasas de obsolescencia muy altas

Sólo 1,3 trabajos de cada 10.000 fueron olvidados al comienzo y reconocidos más tarde

Mal uso y abuso de los indicadores Mal uso y abuso de los indicadores bibliométricosbibliométricos

La política científica induce cambios en las pautas La política científica induce cambios en las pautas de comunicación científica, especialmente los de comunicación científica, especialmente los sistemas de incentivossistemas de incentivos

El uso inadecuado de los indicadores El uso inadecuado de los indicadores bibliométricos puede generar efectos perversos bibliométricos puede generar efectos perversos en el desarrollo de un sistema CyTen el desarrollo de un sistema CyT

El uso de referencias pertenecientes a otros El uso de referencias pertenecientes a otros dominios científicos o simplemente inadecuadas dominios científicos o simplemente inadecuadas provoca actitudes defensivas en los provoca actitudes defensivas en los investigadores o desercionesinvestigadores o deserciones

La coautoría, la autocitación, las listas La coautoría, la autocitación, las listas categorizadas de revistas, la no ponderación de categorizadas de revistas, la no ponderación de las citas…, en definitiva, la falta de control sobre las citas…, en definitiva, la falta de control sobre el proceso de generación de indicadoresel proceso de generación de indicadores

Proceso de reinterpretación del concepto de citación y de Proceso de reinterpretación del concepto de citación y de sus consecuenciassus consecuencias

Indicador del usode la información

Sistema de Incentivos/Medidas de calidad

Evaluación de la Investigación/Política científica

Bibliometría/Ciencia de la Información

citación

No citadoNo citado: Información no usada: Información no usadaMuy citadoMuy citado:: Buena aceptación Buena aceptaciónAutocitadoAutocitado: Parte de la comunicación: Parte de la comunicación

científicacientífica

interpretación

reinterpretaciónrepercusión(posibles cambios en las actitudes de los citantes)

No citadoNo citado:: Baja calidadBaja calidadMuy citado:Muy citado: Alta calidad Alta calidad AutocitadoAutocitado: Manipulación del impacto: Manipulación del impacto

Tomado de: W. Glänzel and K. Debackere

Evaluar siempre mejorEvaluar siempre mejor Disponer de indicadores, estudiar sus sesgos y Disponer de indicadores, estudiar sus sesgos y

minimizar sus efectos negativos debe ser una minimizar sus efectos negativos debe ser una constanteconstante

Favorecer la competencia por la visibilidad y la Favorecer la competencia por la visibilidad y la reconocimiento a través del sometimiento a la reconocimiento a través del sometimiento a la revisión por pares es mejor que su contrario para revisión por pares es mejor que su contrario para el sistema de generación de conocimientoel sistema de generación de conocimiento

Sin embargo, publicar en revistas con alto FI hace Sin embargo, publicar en revistas con alto FI hace invisibles estos resultados de investigación a invisibles estos resultados de investigación a quienes no tienen acceso. La visibilidad se quienes no tienen acceso. La visibilidad se alcanza entre quienes pueden pagar la alcanza entre quienes pueden pagar la informacióninformación

El ciclo del impacto investigadorEl ciclo del impacto investigador

El El acceso abiertoacceso abierto a los resultados de investigación a los resultados de investigación

maximizamaximiza

elel accesoacceso a la investigación a la investigación

maximiza (y acelera) maximiza (y acelera)

elel impactoimpacto

(por tanto también la (por tanto también la productividadproductividad

y el y el progresoprogreso investigador investigador

y su y su reconocimientoreconocimiento))

Tomado de: Tim Brody y Stevan Harnad

L im ited A ccess: L im ited R esearch Im pact

Refereed “Post-Print” Accepted, Certified, Published by Journal

Impact cycle begins:Research is done

Researchers write pre-refereeing

“Pre-Print”

Submitted to Journal

Pre-Print reviewed by Peer Experts – “Peer-Review”

Pre-Print revised by article’s Authors

Researchers can access the Post-Print if their university has a subscription to the Journal

12-1

8 M

on

ths

New impact cycles: New research builds on existing research

New impact cycles: New research builds on existing research

Researchers can access the Post-Print if their university has a subscription to the Journal

Refereed “Post-Print” Accepted, Certified, Published by Journal

Impact cycle begins:Research is done

Researchers write pre-refereeing

“Pre-Print”

Submitted to Journal

Pre-Print reviewed by Peer Experts – “Peer-Review”

Pre-Print revised by article’s Authors

M axim ized R esearch A ccess and Im pact Through S e lf-A rch iv ing

Pre-Print is self-archived in

University’s Eprint Archive

Post-Print is self-archived in

University’s Eprint Archive12

-18

Mo

nth

s

New impact cycles:Self-archived

researchimpact is greater (and

faster) because access is maximized

(and accelerated)

Current Journal Tally: 93% of journalshave already given their official green light to self archiving

FULL-GREEN = Postprint 69% PALE-GREEN = Preprint 24%

GRAY = neither yet 7%

Publishers to date: 126Journals processed so far: 8630http://romeo.eprints.org/stats.php