Metodi bibliometrici per lavalutazione della ricerca: non solo IF

Antonella De Robbio

Contenuti

� La bibliometria� Metodi di valutazione della ricerca� Metodi bibliometrici� Indicatori bibliometrici� L’Impact Factor (IF)� Principali difetti dell’Impact Factor� Indici bibliometrici alternativi all’Impact Factor:

L’Eigenfactor (EI), H-Index e sue varianti, …� La metrica del Web e il Web Impact Factor (WIF)� L’Usage Factor (UF)

La bibliometria

� La bibliometria è un ambito di studio applicato allevarie discipline scientifiche, che comprende anchel’analisi bibliometrica, sviluppatosi negli ultimivent’anni grazie alla disponibilità online di banche datidi grandi dimensioni.

� E’ collocata entro un contesto più ampio discientometria, la scienza per la misura e l’analisidella scienza.

� La bibliometria, utilizza tecniche matematiche estatistiche per analizzare i modelli di distribuzionedelle pubblicazioni e per esplorare l’impatto entro lecomunità scientifiche

Analisi bibliometrica

� Le due misure bibliometriche più conosciute sono– il numero di citazioni– il fattore di impatto o impact factor IF, il numero di citazioni

ricevute nell’anno corrente agli articoli pubblicati nei due anniprecedenti diviso per il totale del numero di articoli pubblicatinegli stessi due anni.

� Ci sono numerosi altri indicatori meno noti e altriemergenti, in particolare nel contesto Open Access

� l’idea di fondo è che la misurazione della produzionedel sapere scientifico usi entrambi gli approcci inmodo combinato.

This diagram has been adapted from Evolution of Scientific Information. [From Allan Kent and Harold Lancour, eds.,Encyclopedia of Library and Information Science (New York, 1979), s.v. ”Scientific Literature,” by K. Subramanyam, 394].

La valutazione della ricerca

� La valutazione della ricerca richiede un duplice approccio:– quantitativo (ossia in termini numerici di impatto scientifico,

brevettabilità, della presenza di contratti con aziende interessate atemi di ricerca);

– qualitativo, il giudizio dei pari (valutatori) o peer-review, cherisulta a tutt’oggi il più importante dei metodi per una valutazionesignificativa della qualità. Appare evidente come sarebbenecessario associare ai metodi quantitativi uno o più metodiqualitativi.

� Oltre all’analisi bibliometrica (quantitativa), usata un po’ovunque, in altri paesi invece vengono usati più metodi, tra iquali il panel (modello anglosassone, ora dismesso dallaRAE/2008), il peer review (il giudizio dei pari) e l’analisi delbeneficio economico.

Lo studio sembrerebbedimostrare che i ricercatorisono favorevoli al peer-reviewperchè migliora la qualitàdelle pubblicazioniscientifiche, madesidererebbero unsistema nel quale sia l'autoreche il revisore sono anonimi(double-blind) e accettanovolentieri l'idea deicommenti aperti dopo lapubblicazione dell'articolo.Molti auspicano ilmiglioramento dell'attualesistema di peer-review e silamentano dei tempi lunghidel referaggio.

Il 35% è favorevole a che i revisori vengano pagati, il40% no. Il 90 per cento degli autori intervistati svolgeanche compiti di revisione. Nulla di particolarmentenuovo, credo che lo studio confermi l'attuale tendenza avoler mantenere il sistema di peer-review con piccoliaggiustamenti.

L’azione del CIVR fase 2004-2006

� Contrariamente a quello si pensa NON ha usato nessun tipo dimetrica , ma si è basato su peer-review.

� L'analisi della citazione fu scartata in quanto l'uso di tecnichebibliometriche basate sulla citazione (analisi citazionale) presentavagrandi svantaggi (IF).

� Dalla valutazione italiana sono esclusi di materiali didattici.� Ma dove interviene la bibliometria a livello di valutazione nel

panorama Italiano?� Può accadere (e solitamente è accaduto così) che vengano

applicate tecniche di questo tipo (uso di IF per esempio) nellaselezione operata dalla base (strutture, dipartimenti) per l'invio deimateriali da proporre al CIVR per la valutazione.

� Si tratta di selezioni basate sull'analisi citazionale effettuatenon dal CIVR bensì dalle strutture che inviano materiale utile per lavalutazione.

� Spesso si tratta anche di un criterio accessorio, in certi atenei.

L’azione del CIVR

� Ogni ateneo ha un suo criterio interno che applica al fine diindividuare quali prodotti somministrare.

� A livello centrale CIVR, il modello di allocazione delle risorseprevede dei punteggi, 4/9 per la qualità di una pubblicazione,

� il criterio della qualità è qualcosa che incide notevolmente sulrisultato della valutazione.

� In sostanza si è voluta una quota molto ristretta di prodotti inviatidagli atenei sulla quale operare la valutazione

� Gli aspetti per noi rilevanti sono nella FASE INIZIALE:- scelta del prodotto da inviare- tipologia delle produzioni

� CAPIRE MEGLIO QUALE SIA IL GRADO POLITICO DIAPPLICAZIONE DI CRITERI RIGORE/FILTRO SCIENTIFICO

� RIVISTE OA (VALUTAZIONE DEI PARI)

Elementi di differenza con il metodoRAE britannico

� RAE include anche i materiali didattici ai fini della valutazione� RAE chiede che ciascun ricercatore (a livello nominale)

presenti 4 lavori (ultimi 6 anni) a sua scelta.� Non si è operata peer-review su tutto ciò che arrivava, perchè

in questo modo, agendo a livello nominale, i lavori sononumerosi e il processo lungo e costoso.

� Non vi è stata quindi selezione di eccellenza operata dalleuniversità, ma è lo stesso ricercatore che invia ciò che ritienemigliore

� RAE estrae un campione casuale e su questo campionerappresentativo di ciascun ateneo applica la peer-review.

� Fino al 2007 vi è stata una selezione dei Panel per lamappatura dell'eccellenza scientifica che in questo modoagisce su un campione casuale.

� NUOVO Rapporto RAE 2008

Fuori dall’Italia: tendenze opposte

� Regno Unito: la valutazione delle Università, fino ad oggi eracondotta attraverso panel disciplinari del RAE

� Dal 2008 RAE si baserà su indici bibliometrici appositamentecostruiti per la misurazione della qualità (sviluppo di nuoviindicatori)

� La valutazione dei pari in forma di light peer-review si effettueràper le sole discipline umane e sociali (incluse però anchematematica e statistica), dove le metriche non hanno ancoraraggiunto standard accettabili.

� Australia: la valutazione delle istituzioni dovrebbe passare dauna sistema basato esclusivamente sull’uso delle metriche a unnuovo sistema dove la valutazione dovrebbe essere condottada panel di ‘pari’ e di ‘utilizzatori finali’ dei risultati prodotti.

L’analisi citazionale

� L’analisi citazionale è considerata la macchina dove poggia il fattored’impatto, noto come IF. L’Impact Factor o IF, è l’indicatorebibliometrico più conosciuto, ma non è il solo indicatore propostodall’ISI (ora Thompson) a cui fare riferimento.

� Da studi effettuati è emerso che ciascun servizio produce risultatianche piuttosto differenti l’uno dell’altro. In termini di analisiquantitativa appare quanto mai necessario usare diverse fonti dicitazione per giudicare il reale impatto di un’opera scientifica.

� Il Web infatti ha avuto un enorme impatto sulla ricerca dell’analisicitazionale. Negli anni recenti dozzine di database tra cui Scopus eanche Google Scholar sono comparsi sulla scena, permettendomodalità e modelli di citazione dei lavori scientifici mai visti inprecedenza.

� Questo potrebbe segnare, secondo alcuni, la fine del monopoliosull’analisi citazionale durato oltre quarant’anni e detenuto dalcommerciale statunitense Thomson Scientific, meglio conosciuto conil nome precedente di ISI.

Science Citation Index (ISI)

� Il Science Citation Index dell’ISI Institue for Scientific Information -ora Web of Science WoS di Thompson è stato considerato lostrumento principe per la misurazione delle citazioni

� fu lanciato nel 1964 e ben presto divenne popolare tra scienziati ebibliotecari e tutt’oggi è uno dei database multidisciplinari piùimportanti del mondo ed è affiancato ad altri database citazionalicome l’Arts and Humanities Citation Index (A&HCI) e il SocialScience Citation Index (SSC).

� Insieme contano circa 40 milioni di record in oltre 8700 periodiciscientifici tra i più prestigiosi del mondo.

� Fino al 1988 questi indici esistevano solo in forma cartacea astampa, dalla metà degli anni settanta ricerche online usanosistemi di information-retrieval messi a disposizione da soggettiterzi come Dialog.

� dal 1988 prime edizioni su CD-Rom e finalmente� nel 1997 i database ISI migrarono su web con il lancio del Web of

Science (WoS).

Gli indicatori utilizzati nell’analisi bibliometricaproposta dall’ISI: non solo IF …

� Immediacy Index: misura quanto successo sta avendo il lavoronell’anno di pubblicazione e in relazione a quanto velocemente unarticolo della rivista è mediamente citato e quanto spesso gli articolidella rivista sono citati nello stesso anno;

� Cited Half Life: ciclo di emivita di un lavoro scientifico; misura lavalidità nel tempo degli articoli citati o la durata delle citazioni neltempo. Misura il numero degli anni, andando all'indietro da quellocorrente, in cui si raggiunge il 50% delle citazioni totali ricevute dallarivista nell'anno presente.

� Rate of Cites Index: rappresenta un indice di qualità del singololavoro, basato sull’assioma che quanto più il lavoro è citato da altriricercatori tanto più rilevante è il suo valore scientifico.

� Citation Impact: è calcolato per uno specifico soggetto o autore oistituzione o paese sulla base del rapporto tra il numero di citazioniricevute e il numero di articoli pubblicati (un elevato numero di citazioniindica che la pubblicazione ha avuto un forte impatto).

Volume mondiale di citazioni 1992-2003

� Il volume di citazioni mondiali risultaincrementato del 61%, passando da 2.69milioni a 4.34 milioni,

� le citazioni tra nazioni e aree geografichediverse crescono dal 42% al 48%, altrosegno dell’incremento della globalizzazionedella scienza.

� in EU aumenta fortemente la condivisione dicitazioni globali, eliminando in parte di divariocon gli Stati Uniti

Mondo OA e bibliometria

� Nel mondo Open Access stanno nascendo iniziative e progettiche interessano il campo della "bibliometria" dove si stannosperimentando soluzioni alternative al tradizionale IF

� Da qualche tempo i servizi Web stanno mettendo in discussione ilpredominio non solo degli strumenti dell’ISI ma dello stesso IF.

� Se gli indicatori generati dall’autore sono le citazioni, quelligenerati dai lettori sono i dati sull’utilizzo che possono essereraccolti tramite server web e linkresolver logs.

� Indicatore bibliometrico quantitativo di nuova generazione èl’Usage Factor UF, complementare e non sostitutivo a fattori diimpatto tradizionali o alternativi all’IF.

� nuovi strumenti e/o progetti per l’analisi citazionale nell’ambienteWeb, tra cui il Web Impact Factor (WIF) e per l’analisi statisticadei log e dei dati, che si riconducono alla nuova scienza notacome metrica del web o Webometrica.

L’Eigenfactor (EI)

� Eigenfactor: ranking and mapping scientific knowledge� è un nuovo modello matematico per calcolare l'impatto delle

riviste scientifiche accademiche che tiene conto dei diversistandard di citazione tra una disciplina e l'altra.

� progetto di ricerca accademica non-commercialesponsorizzato dal Bergstrom lab al Department of Biologydell’Università di Washington

� ha lo scopo di sviluppare un nuovo metodo per la valutazionedell'influenza (impatto) dei periodici accademico-scientitici aifini di ottenere una mappatura della struttura della ricercaaccademica.

� Completamente free http://www.eigenfactor.org/

Publish or Perish (PoP) is a software program that retrieves and analyzesacademic citations. It uses Google Scholar to obtain the raw citations, thenanalyzes these and calculates a series of citation metrics. The results areavailable on-screen and can also be copied to the Windows clipboard (forpasting into other applications) or saved to a text file (for future reference orfurther analysis).

PoP software

Analisi biometriche PoP

� Papers: 166� Citations: 153� Years: 48� Cites/year: 3.19

� Cites/paper: 0.92� Cites/author: 118.58� Papers/author: 131.63� Authors/paper: 1.45

� h-index: 5� g-index: 6� hc-index: 4� hI-index: 3.13� hI,norm: 4

� AWCR: 18.87� AW-index: 4.34� AWCRpA: 14.47

Hirsch a=6.12, m=0.10Contemporary ac=4.69Cites/paper 0.92/0.0/0 (mean/median/mode)Authors/paper 1.45/1.0/1 (mean/median/mode)

6 paper(s) with 0 author(s)112 paper(s) with 1 author(s)26 paper(s) with 2 author(s)16 paper(s) with 3 author(s)2 paper(s) with 4 author(s)4 paper(s) with 5 author(s)

H index

� Con h-index si intende un indice propostonel 2005 da Jorge E. Hirsch della Universityof California di San Diego per quantificare laprolificità e l'impatto del lavoro degliscienziati, basandosi sul numero delle loropubblicazioni ed il numero di citazioniricevute.

http://insitu.lri.fr/~roussel/moulinette/h/h.cgi

http://quadsearch.csd.auth.gr/index.php?lan=1&s=2

h-b-index Hirsch-Banks Index

� Altra variante dell’indice H è l’ h-b-index(Hirsch-Banks Index), meglio un’estensionedell’indice H sviluppato da Michael Banks delMax Planck Institute for Solid StateResearch, focalizzato sulle pubblicazioni infisica dello stato solido. E’ definito allo stessomodo dell’Indice H, ma è basato sulla ricercadi uno specifico argomento o composto,invece che del nome dello scienziato.

a-index

� Il curatore di Science Focus, Jin Bihui hainventato un ulteriore metodo, detto “a-index” il quale è definito come la media delnumero di citazioni ricevute da opere nelnumero di pubblicazioni “h-index”.

G-index

� L’indice G o g-index è un indicatore bibliometrico ditipo quantitativo per misurare la produttivitàscientifica dei fisici e altri scienziati, anch’essobasato sui record citazionali delle loro pubblicazioni.

� Fu suggerito nel 2006 da Leo Egghe, sulla base diuna variante dell’indice H.

� Il g-index è calcolato sulla base della distribuzionedelle citazioni ricevute dalle pubblicazioni di un datoricercatore.

Contemporary h-index

� Mentre Antonis Sidiropoulos, Dimitrios Katsaros, eYannis Manolopoulos hanno descritto comemigliorare l'indice H dando più peso ai lavori recenti"thus rewarding academics who maintain a steadylevel of activity", Pablo D. Batista, Monica G.Campiteli, Osame Kinouchi, e Alexandre S. Martinezpropongono di dividere l'indice H standard per ilnumero medio di autori nell'articolo checontribuiscono all'indice stesso, di modo da ridurregli effetti del co-authorship.

Age-weighted citation rate: (AWCR,AWCRpA) e AW-index

� Numero di citazioni basate sull'età del documento (AWCR, AWCRpA) e AW-index� E’ nato dalla nota di Bihui Jin intitolata "The AR-index: complementing the h-index" ISSI

Newsletter, 2007, 3(1), p. 6.� AWCR misura il numero di citazioni ricevute da un'intera collezione di opere, calcolato in base

all'età di ogni singolo documento (Age-weighted citation rate). È’ il numero di citazioni calcolatosulla base dell'età del documento in cui il numero di citazioni di un determinato documentoviene diviso per l'età del documento.

� Jin definisce AR-index come la radice quadrata della somma delle citazioni basate sull'età diun documento calcolata sul numero totale di documenti che contribuiscono all'h-index.

� Publish or Perish tiene conto della somma di tutti i documenti di modo da rappresentare piùaccuratamente l'impatto dell'intera collezione di opere. (in questo modo i documenti più recentie di conseguenza con un minor numero di citazioni possono contribuire a AWCR, anche senon potrebbero ancora contribuire all'h-index).

� AW-index è considerato la radice quadrata di AWCR per consentire un paragone/confrontocon l'h-index: esso si avvicina all'h-index se il numero medio di citazioni rimane più o menocostante nel corso degli anni.

� Il numero di citazioni basato sull'età del documento e sull'autore (per-author age-weightedcitation rate) è simile al AWCR di base, ma è normalizzato sul numero di autori per ognidocumento.

� Il risultato di queste metriche è indicato come AWCR, AWCRpA e AW-index.

L’h-index di Scopus

� Fornisce un’unica e semplice metrica per migliorare lavalutazione di un autore nell’arco degli ultimi dieci anni.

� Rappresenta gli articoli pubblicati dal 1996 in avanti.� È possibile visualizzarlo usando lo strumento Citation Tracker

dalla pagina Author Details� Fornisce all’utente tre grafici: il grafico h, il numero di articoli

pubblicati e il numero di citazioni.

TopCited di SCOPUS

� Scopus ha rilasciato un nuovo servizio gratuito TopCited(http://info.scopus.com/topcited/), che permette diconsultare gli articoli più citati nelle variediscipline usando un'API integrata con Google Map.

� I 20 articoli più citati negli ultimi 3-5 anni in tutte lediscipline (26 aree di soggetto) sono OA, come risulta daquesta ricerca effettuata da Klaus Grafhttp://archiv.twoday.net/stories/4781179/

SCImago Journal & Country Rank (SJR)http://www.scimagojr.com/

� nuovo database gratuito accessibile in Internet� messo a punto dalle università spagnole di Granada,

Estremadura e Carlos III di Madrid� In collaborazione con Elsevier che ha fornito le citazioni relative

ai 13 mila periodici indicizzati da SCOPUS (dal 1996 ad oggi)� permette di generare statitistiche sulle citazioni degli articoli

pubblicati nelle riviste peer-reviewed� calcola anche l'impact factor delle riviste usando un nuovo

algoritmo simile a PageRank, l'algoritmo utilizzato da Google perordinare le pagine

� Si possono fare ricerche incrociate per paesi e per discipline� genera statistiche per paese, confronta il numero degli articoli

pubblicati, le citazioni, per paeseCome si colloca l'Italiahttp://www.scimagojr.com/countryrank.php

WIF Web Impact Factor

� Almind e Ingwersen, considerati tra i più accreditati studiosi dimetodi bibliometrici, hanno pubblicato nel 1997 i primi studirelativi all’area di problemi definita con il termine Webometrics.

� Si tratta dello studio degli aspetti quantitativi della costruzione edell’uso delle risorse informative delle strutture e delle tecnologiesul web valutate secondo un’ approccio bibliometrico edinformetrico (Bjömeborn & Ingwersen, 2004).

� Con il termine Cybermetrics si indica lo studio di tutte leapplicazioni Internet, con il termine Webometrics si indica lostudio dedicato esclusivamente al web.

� il Web Impact Factor WIF è basato sull’analisi dei link e si ricavadal numero dei contatti che un documento pubblicato sul webriceve moltiplicato per il numero delle pagine.

� Questo comporta una proporzione di 1:1 tra la visibilità (numerocontatti) e la dimensione (numero di pagine).

� Lo studio si fonda sull’assunto secondo cui Internet èlo strumento in grado di veicolare al meglio leinformazioni prodotte dalla ricerca scientifica

� combinazione di una serie di indicatori relativi allapresenza in Internet delle Università e dei Centri diricerca basandosi sul WIF, Web Impact Factor,messo a punto da Tomas C. Almind e PeterIngwersen, in maniera del tutto analoga al databasebibliografico pubblicato dalla Thomson Scientific,costruito tenendo conto del Impact Factor of JournalCitation Reports.

UF Usage Factor

� Usage Factor per misurare l'autorevolezzae il valore delle riviste scientifiche

� UK Serials Group (UKSG) ha commissionatoalcune ricerche volte a misurare la possibilitàdi utilizzare l"Usage Factor" come indice permisurare il valore delle pubblicazioniaccademiche.