Biblioteca di Farmacologia e Medicina Sperimentale

Biblioteca centrale di Farmacia

H-Index: definizione e calcolo

Carla BarbieriElena Bernardini

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

La valutazione della Ricerca

La valutazione della produzione scientifica si impone sempre più come processo necessario all’interno delle comunità scientifiche sia a livello nazionale che internazionale ed è motivato da:

• minore disponibilità di risorse finanziarie• aumento dei costi della ricerca

Fornisce indicazioni per:• valutare il curriculum di un ricercatore e l’attività scientifica delle strutture di

ricerca• ripartire quote di finanziamenti• approvare progetti di ricerca• migliorare l’attività di ricerca in prospettiva

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

La valutazione del sistema Universitario. L’ ANVUR

L. 24 novembre 2006, n. 286: viene costituita l’ Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca, che sostituisce il CIVR e il CNVSU http://www.anvur.org/.

D.P.R. 1 Febbraio 2010, n. 76: viene pubblicato il Regolamento concernente la struttura ed il funzionamento dell'ANVUR. Tale Agenzia diventa operativa con l’insediamento, il 2 maggio 2011, del proprio Consiglio direttivo.

7 novembre 2011 viene pubblicato il bando VQR 2004-2010 Valutazione della qualità della ricerca

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Altri riferimenti normativi

Decreto Ministeriale 28 luglio 2009 n. 89 Valutazione dei titoli e delle pubblicazioni scientifichestabilisce i parametri per la valutazione dei titoli e delle pubblicazioni dei candidati nelle procedure di valutazione comparativa per il reclutamento dei ricercatori

D.M. 25 maggio 2011, n. 243/2011 Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all'articolo 24, della legge n.240/2010

Decreto Ministeriale 4 agosto 2011 n. 344 Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

La valutazione della ricerca: metodologie

Valutazione qualitativa

• peer review, expert panel evaluation• frutto di competenze specifiche• processo lungo e costoso• interna alla comunità scientifica• ancora poco diffusa nelle scienze umane

Valutazione quantitativa• basata sugli indicatori bibliometrici

• utilizza come punto di partenza le pubblicazioni ubblicazioni scientifichescientifiche e le relative citazioni

• esterna alla comunità scientifica

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Impact Factor (IF)

Indice sintetico commerciale che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti.

E’ stato elaborato nel 1955 da Eugene Garfield, un chimico americano, è attualmente di proprietà di Thomson Reuters ed è pubblicato con cadenza annuale nel Journal Citation Reports (JCR).

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Impact Factor: uso e abuso

E’ nato con lo scopo di stabilire il valore delle riviste scientifiche ed è stato utilizzato dai bibliotecari per scegliere quali riviste acquistare.

Si è affermato poi per quantificare la qualità delle singole pubblicazioni, soprattutto in area biomedica e scientifica in generale.

L’IF è legato ad una rivista e non ad un singolo articolo

Resta comunque fondamentale per definire standard disciplinari: le differenze, spesso notevoli, nei valori dell’IF dipendono infatti dal differente comportamento citazionale tra le discipline.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Valutare gli autori attraverso le citazioni

Formulare un giudizio di merito sulla qualità della ricerca svolta è un esercizio complesso, sia dal punto di vista pratico che dal punto di vista etico.Non esistono criteri di giudizio assoluti per classificare l’importanza dei risultati scientifici. Gli indici bibliometrici, cioè dell’impatto, costruiti con modelli matematico-statistici a partire dalle citazioni bibliografiche, sono il tentativo per una valutazione il più possibile oggettiva.Recentemente l’ indice H ha ricevuto attenzione da parte della comunità scientifica per la presunta facilità di calcolo e l'equilibrio tra quantità di pubblicazioni e il loro impatto.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

L’indice H / indice di Hirsch

Nel 2005 viene proposto dal fisico Jorge E. Hirsch, dapprima sul repository disciplinare ArXiv e poi su PNAS (2005) vol. 102 no. 46 16569–16572:An index to quantify an individual’s scientific research output

“I propose the index h, defined as the number of papers with citation number ≥ h, as a useful index to characterize the scientific output of a researcher.”

“A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np-h) papers have fewer than h citations each”

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

aciaIn parole più semplici …

Uno scienziato ha un n indice H se n. degli articoli di cui è autore (o co-autore) hanno ricevuto almeno n. citazioni ciascuno e gli altri articoli hanno ricevuto non più di n. citazioni.

Es. H-Index = 20H-Index = 20Un autore ha pubblicato 20 articoli che hanno ricevuto ciascuno almeno 20 citazioni.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Cos’è l’H-Index?

È un parametro che tenta di misurare sia la produttività scientificaproduttività scientifica che l’impatto scientificol’impatto scientifico di un ricercatore.

Da solo fornisce due tipi di informazioni immediatamente comprensibili: quante pubblicazioniquante pubblicazioni hanno ricevuto un certo numero dinumero di citazioni. citazioni.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

aciaL’impatto di Hirsch (!)

Il giorno 17/11/2011 l’articolo di Hirsch J.E.

risulta così citato:

WoSWoS 904 volte + 33 volte (errata o incompleta citazione)

Google ScholarGoogle Scholar 1940 volte

ScopusScopus 980 volte + 15 volte (errata o incompleta citazione)

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

H index: vantaggi

E’ riferito al singolo ricercatore

Combina la quantità con la qualità

Dimostra la correlazione tra indice e giudizio dei pari

Corregge l’impatto negativo di articoli non citati e quello positivo di articoli molto citati

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

H index: punti critici (1)

Alcune aree disciplinari di nicchia hanno bassi valori di H-index, così come riviste molto specializzate hanno bassi valori di IF

Non tiene conto del numero totale di citazioni di ciascun lavoro

Non considera il contesto delle citazioni (rivista su cui è pubblicato l’articolo; citazioni negative)

Non esclude le autocitazioni

Non considera il numero di coautori e quindi il peso del singolo per quello specifico lavoro

È influenzato dall’accuratezza con cui vengono contate le citazioni, e quindi dal database consultato

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

H index: punti critici (2)

Penalizza i giovani ricercatori e le ricerche innovative

Spinge il ricercatore ad investire le proprie energie nella ricerca in maniera conservativa (mainstream)

Può solo accrescere: le citazioni ricevute possono infatti aumentare anche se il ricercatore ha smesso di essere produttivo

La produzione scientifica di scienziati con lo stesso H index non è spesso comparabile (Pensate a due scienziati con indice 10, ma uno autore di 10 articoli ciascuno con 10 citazioni e l’altro con 90 articoli, 10 citati 10 volte, 80 citati 9 volte)

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

aciaH-index: applicabilità

L’analisi delle citazioni è applicabile principalmente nei settori disciplinari che pubblicano in lingua inglese.

Per l’area umanistica / storico sociale e per l’area geografico-linguistica, non anglocentriche, non esistono per ora strumenti bibliometrici adeguati.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

I nuovi indici

Una serie di varianti dell'h-index è stata proposta allo scopo di correggere e superare gli evidenti difetti di tale indice.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

aciaEsempi di nuovi indici

g index: attribuisce peso ad articoli molto citati a index: calcola la media del n. di citazioni ricevute da articoli facenti parte di h core h index normalizzato: riduce gli effetti del coautoraggio h-b index: si basa sulle ricerche di uno specifico argomento o composto j-index: rimuove gli svantaggi di h index attraverso la comparazione di 18 indici diversi

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

G-index

Indice creato dal matematico Leo Egghe:

Egghe, L. 2006 Theory and practise of the g-index. Scientometrics 69(1): 131-152.[Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g2 citations.

Ha lo scopo di migliorare l’h-index dando maggior peso agli articoli molto citati oltre il valore dell’indice h di uno scienziato.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

A-index

Jin Bihui ha elaborato un ulteriore indicatore, detto "a-index“, che è definito come la media del numero di citazioni ricevute dagli articoli facenti parte dell’ “h-core”(set di articoli con le maggiori citazioni).

Jin B.H.(2006) H-Index: An evaluation indicator proposed by scientist. Science Focus,  1 1 (2006), pp. 8–9. (In Chinese).

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Utilizzo dell’H-index

Per quanto criticato sotto vari aspetti, l’H-index sta raccogliendo un certo gradimento da più parti del mondo accademico e della ricerca.Insieme ai nuovi indici viene sempre più utilizzato per valutare l’andamento della ricerca all’interno di dipartimenti e enti di ricerca.

Viene richiesto per la partecipazione ai concorsi universitari.Viene richiesto per valutare l’assegnazione di fondi di ricerca.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

aciaD.M. 28 luglio 2009 n. 89

Valutazione dei titoli e delle pubblicazioni scientifiche

Prende in considerazione sia pubblicazioni cartacee che elettroniche (art. 3, comma 1)Rafforza il ruolo degli indicatori bibliometrici (art. 3, comma 4)

“Nell'ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l'uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche dei seguenti indici:

– numero totale delle citazioni; – numero medio di citazioni per pubblicazione; – "impact factor" totale; – "impact factor" medio per pubblicazione; – combinazioni dei precedenti parametri atte a

valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili) “

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Bando di concorso per:

Programma per la ricerca Sanitaria 2009: Attività di

Ricerca finalizzata(Allegato del bando di concorso)

http://www.salute.gov.it/bandi/dettaglio.jsp?id=63

…Fino a 5 dei più recenti lavori scientifici del richiedente, indicando impact factor della rivista su cui è stato

pubblicato il lavoro nell’anno di pubblicazione, il numero di citazioni dall’anno di pubblicazione fino all’anno di richiesta del finanziamento e l’indice h.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Aspetti critici delle normative e dei bandi di concorso

Mancano indicazioni chiare e trasparenti:

H-index oppure quale?quali banche dati e/o strumenti

citazionali utilizzare per il calcolo?l’impact factor è un indice calcolato

sulle citazioni dell’anno precedente: es. una pubblicazione del 2011 non ha ancora un IF 2011.

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

Dove trovare le citazioni

WoS (ricerca tradizionale): dal 1985WoS (Cited ref search): per primo autore anche prima del 1900Scopus: dal 1996Embase: dati presi da Scopus (link diretto con Scopus)Scifinder: si trovano citazioni degli anni ’70, ma non è completo come WOSGoogle scholar: dati recenti, non nota la completezzaPsychinfo: contiene citazioni anche di articoli datati, ma Il DB è molto specifico per l’area disciplinareSiti degli editori

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

L’evoluzione degli indicatori bibliometrici

Gli indicatori bibliometrici, sempre più numerosi e variegati, si basano sul presupposto teorico che il numero di citazioni ricevute da una pubblicazione sia indice di qualità.In realtà la valutazione è un processo complesso, condizionato anche da altre variabili ed è attorno a queste che si sta sviluppando un fitto dibattito sia teorico che empirico. In particolare nel contesto Open Access, si stanno integrando le metriche tradizionali con il numero dei downloads, i commenti e le note della comunità scientifica (social network analysis).

Bib

liote

ca d

i Farm

acolo

gia

e M

ed

icin

a

Sp

eri

men

tale

Bib

liote

ca c

en

trale

di Farm

acia

PLoS: Article Level Metrics