ibli i l l i d ll bibliometria per la valutazione della ricerca: uso e abuso
TRANSCRIPT
![Page 1: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/1.jpg)
ibli i l l i d llBibliometria per la valutazione della ricerca: uso e abusoricerca: uso e abuso
Alberto Baccini (Unisi)Alberto Baccini (Unisi)
S d f di A li iSeconda conferenza di Ateneo sugli strumenti di valutazione della ricercaFerrara, 18 maggio 2010
![Page 2: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/2.jpg)
Alberto Baccini, Valutare la ricerca scientifica
![Page 3: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/3.jpg)
Lo scontro sulla valutazione
In Italia stiamo assistendo allo scontro tra coloro che usano Impact Factor, H-index e derivati come una clava per scardinare le baronie nazionali; e coloro che negano che gli indicatorile baronie nazionali; e coloro che negano che gli indicatori bibliometrici abbiano qualsiasi significato ed utilità.Le misure bibliometriche sintetizzano le informazioni sullaLe misure bibliometriche sintetizzano le informazioni sulla qualità e l’impatto della ricerca, secondo le definizioni condivisa da secoli nella comunità accademica internazionale. Il loro uso “accorto e consapevole” è fondamentale per le decisioni sul finanziamento della ricerca.
Alberto Baccini, Valutare la ricerca scientifica
![Page 4: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/4.jpg)
La repubblica autonoma della scienza e le esigenze dei igoverni
I meccanismi autonomi di riconoscimento della qualità della ricerca: priorità, eponimia, citazioni, premi etc.Il lungo periodo della scienza vs. le esigenze diIl lungo periodo della scienza vs. le esigenze di breve periodo della “società della conoscenza”I i i di l t i d ll iI meccanismi di valutazione della ricerca: distinguere tra valutazione e uso della valutazione
l d i i i di li i d ll iper le decisioni di politica della ricerca
Alberto Baccini, Valutare la ricerca scientifica
![Page 5: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/5.jpg)
Qualità, importanza, impattoQ , p , p
d b f d l h lPer qualità di un contributo scientifico si intende il riconoscimento che la ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore metodologico…) in un certo momento del tempo.
Un articolo pubblicato su una rivista che usa la peer review è di qualitàIndicatori bibliometrici di produzione di qualità
Per impatto si intende il riconoscimento tributato ad contributo scientificoPer impatto si intende il riconoscimento tributato ad contributo scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
Un articolo molto citato è un articolo con un elevato impatto nella comuità scientificaIndicatori bibliometrici citazionaliIndicatori bibliometrici citazionali
Per importanza di un contributo scientifico si intende la capacità di un contributo scientifico di influenzare nel lungo periodo le ricerche condotte da l i di d ili d l i l i l di i laltri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienzaRicerca dimenticata e belle addormentate
Alberto Baccini, Valutare la ricerca scientifica
![Page 6: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/6.jpg)
La valutazione dei pari (peer review)p (p )
La valutazione condotta dai pari è il peggiore dei modi per giudicare la qualità della ricerca; il fatto è che non ce ne sono di miglioriLa contrapposizione tra “revisione diretta dei pari” e pp p“uso degli indicatori bibliometrici” è fuorvianteEntrambe le forme di valutazione sono basate sul giudizio di qualità espresso dai pari (in forma diretta o indiretta))La valutazione basata su indicatori bibliometrici è meno costosa ma richiede conoscenze tecniche specifiche
Alberto Baccini, Valutare la ricerca scientifica
costosa, ma richiede conoscenze tecniche specifiche
![Page 7: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/7.jpg)
Ma gli archivi bibliografici e citazionali contengono tutte le informazioni rilevanti?
ISI, Scopus, Google ScholarArchivi disciplinari (EconLit, PubMed …)p ( , )Non esistono discipline cui per la loro natura speciale non possano essere applicati indicatori bibliometricipossano essere applicati indicatori bibliometriciPer alcune discipline al momento attuale gli indicatori bibliometrici sono scarsamente affidabili
Alberto Baccini, Valutare la ricerca scientifica
![Page 8: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/8.jpg)
Copertura dei database bibliograficip g
Alberto Baccini, Valutare la ricerca scientifica
![Page 9: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/9.jpg)
Misure della produzione scientificap
Alberto Baccini, Valutare la ricerca scientifica
![Page 10: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/10.jpg)
Adeguatezza del grado di coperturag g p
Alberto Baccini, Valutare la ricerca scientifica
![Page 11: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/11.jpg)
Le citazioni visibili
Alberto Baccini, Valutare la ricerca scientifica
![Page 12: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/12.jpg)
Le citazioni visibili nelle varie disciplinep
Alberto Baccini, Valutare la ricerca scientifica
![Page 13: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/13.jpg)
Guida per il buon uso degli indicatorip g
1. Per approssimare la multidimensionalità del giudizio del revisore, è consigliabile l’uso di “pacchetti di indicatori” (es. n ; c)
2 Le misure bibliometriche vanno sempre lette e2. Le misure bibliometriche vanno sempre lette e interpretate in riferimento a misure strutturali di controllo (es IF)controllo (es. IF)
3. Scegliere accuratamente gli indicatori in relazione ll’ d ll l i ( i i i IF)all’oggetto della valutazione (citazioni vs. IF)
Alberto Baccini, Valutare la ricerca scientifica
![Page 14: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/14.jpg)
Livelli di aggregazione della valutazionegg g
Al d l li ll di iAl crescere del livello di aggregazione, aumenta l’affidabilità dell’indicatore
Livelli di aggregazione:1. la produzione scientifica di un ricercatore;2. gli articoli pubblicati in una rivista o i libri pubblicati da un editore;3. la produzione scientifica di un gruppo di ricerca (dipartimento, facoltà
etc.);etc.); 4. la produzione scientifica di un intera area disciplinare, campo di ricerca o
disciplina (CIVR);
5. la produzione scientifica di una regione o di una nazione.
Alberto Baccini, Valutare la ricerca scientifica
![Page 15: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/15.jpg)
Indici di specializzazionep
Alberto Baccini, Valutare la ricerca scientifica
![Page 16: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/16.jpg)
Regola 1g
Definire chiaramente scopo ed obiettivi della valutazione, e individuare le misure bibliometriche di produzione ed impatto più adatte per raggiungerli
Evitare l’abuso dell’IF come unica misura per qualsiasi p qtipo di valutazione
Alberto Baccini, Valutare la ricerca scientifica
![Page 17: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/17.jpg)
Contare le citazioni
esempio di conteggio delle citazioni per prodotto di ricerca sul database ISI.
Alberto Baccini, Valutare la ricerca scientifica
![Page 18: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/18.jpg)
Regola 2g
Dopo aver scelto gli indicatori di performance o citazionali definire le misure strutturali di controllocitazionali, definire le misure strutturali di controllo
Evita l’abuso di presentare misure bibliometriche in valore assoluto e senza valori comparativivalore assoluto e senza valori comparativi
Alberto Baccini, Valutare la ricerca scientifica
![Page 19: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/19.jpg)
Impact Factor (di una rivista)
http:/cienti //w
ww.top
sts.aspxpitalianscieentists.orgg/top_italiian_s
Alberto Baccini, Valutare la ricerca scientifica
![Page 20: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/20.jpg)
Regola 3g
Quando la risoluzione è molto elevata (singolo ricercatore, singolo prodotto di ricerca) valutare se affiancare all’uso degli indicatori, la revisione diretta dei parip
Evita il frequente abuso di sommare gli IF per valutare un ricercatore
Alberto Baccini, Valutare la ricerca scientifica
![Page 21: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/21.jpg)
H-index
Alberto Baccini, Valutare la ricerca scientifica
![Page 22: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/22.jpg)
Scienziati selettivi
Alberto Baccini, Valutare la ricerca scientifica
![Page 23: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/23.jpg)
H-interval
L. Pratellli, A. Baccini, L. Barabesi, M. Marchessi, “Statistical analysis of the Hirsch Index”Xi 1102 2701 1 [ th ST]arXiv:1102.2701v1 [math.ST]
Alberto Baccini, Valutare la ricerca scientifica
![Page 24: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/24.jpg)
Regola 4g
Nel caso di valutazioni che riguardano grandi aggregati, la revisione diretta dei pari è da preferirsi solo se si ritiene che potersi avvalere di informazioni ex post migliori la qualità della p g qvalutazione
Il VQR e le discipline umanisticheIl VQR e le discipline umanisticheIl VTR e le discipline al riparo dalla “scienza internazionale”internazionale
Alberto Baccini, Valutare la ricerca scientifica
![Page 25: ibli i l l i d ll Bibliometria per la valutazione della ricerca: uso e abuso](https://reader033.vdocuments.mx/reader033/viewer/2022051522/58a2e6701a28abe1338b8ae9/html5/thumbnails/25.jpg)
Regola 5g
Ricordare che gli indicatori tendono a scartare iRicordare che gli indicatori tendono a scartare i diamanti rosa
La revisione dei pari controlla due tipi di rischioLa revisione dei pari controlla due tipi di rischioErrore di Tipo 1. Consiste nel sostenere che un lavoro non è di qualità quando invece lo è (falso negativo)Errore di Tipo 2. Consiste nel sostenere che un lavoro è di qualità quando invece non lo è (falso positivo)
La revisione dei pari tende a minimizzare gli errori di Tipo 2 eLa revisione dei pari tende a minimizzare gli errori di Tipo 2, e quindi a scartare i diamanti rosaMisure a favore del pluralismo nella ricercaMisure a favore del pluralismo nella ricerca
Alberto Baccini, Valutare la ricerca scientifica