valutazione vqr: seminario giorgio sirilli 19.3.2012
TRANSCRIPT
CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie
''Massimo Severo Giannini''
Roma, 19 marzo 2012
La Valutazione della Ricerca del CNR
Le sfide della VQR dell’ANVUR
Giorgio Sirilli
Un Seminario di politica scientifica
La genesi L’approccio Gli attori La Valutazione della Qualità della Ricerca (VQR) Discussione Le sfide
Indice
Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR?
La domanda
Possibile classifica degli enti di ricerca
INFN
CNR.…
.….…
.….…
E’ possibile pronosticare l’esito della VQR per gli enti di ricerca?
No
Un precedente
Studio all’inizio del millennio (2002) Il 3% di Lisbona
1,20
L’approccio
Domanda di ricerca Dati Elaborazione Conclusioni Previsioni e raccomandazioni
La valutazione della ricerca
La valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati.
La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.
Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che Gli chiese: “Dio, come fai a sapere che quello che hai creato è ‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi la Tua valutazione? Non sei Tu forse un po’ troppo direttamente coinvolto per dare un giudizio spassionato?” Dio rifletté su queste domande per tutto il settimo giorno, ed il Suo riposo fu molto agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
La prima valutazione (Genesi)
La valutazione e gli indicatori
L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parziale
La valutazione e gli indicatori
Each in his own opinionExceeding stiff and strong,Though each was partly
in the right,And all were in the wrong!
John Godfrey Saxe (1816–1887)
"The Blind Men and the Elephant"
Ciascuno con la sua opinioneConvinto caparbiamente di essere
nel giusto,Sebbene ciascuno fosse
parzialmente nel giusto,Tutti erano nell’errore!
John Godfrey Saxe (1816–1887)"The Blind Men and the Elephant"
(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton:
- universalismo- comunitarismo- disinteresse- scetticismo organizzatosono sempre più erosi”
La valutazione
14
La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società
La matrice multidimensionale della valutazione
Unità da valutare
Individuo
Gruppo di ricerca
Dipartimento
Istituzione
Area di ricerca
Obiettivo
Allocazione di risorse
Miglioramento della performance
Incremento della multidisciplinarità
Incremento del coinvolgimento regionale
Promozioni, reclutamento
Dimensioni dell’output
Produttività della ricerca
Impatto sulla comunità scientifica
Innovazione e beneficio sociale
Sostenibilità
Infrastrutture di ricerca
Indicatori bibliometrici
Pubblicazioni
Impact factor
Impatto delle citazioni
Collaborazioni internazionali
Prestigio delle citazioni
Altri indicatori
Valutazione dei pari
Brevetti, licenze, spin-off
Inviti alle conferenze
Finanziamenti esterni
“Qualità” dei PhD
La VQR
Unità da valutare
Individuo
Gruppo di ricerca
Diparti-mento
Istituzione
Area di ricerca
Obiettivo
Allocazione di risorse
Miglioramento della performance
Incremento della multidisciplinarità
Incremento del coinvolgimento regionale
Promozioni, reclutamento
Dimensioni dell’output
Produttività della ricerca
Impatto sulla comunità scientifica
Innovazione e beneficio sociale
Sostenibilità
Infrastrutture di ricerca
Indicatori bibliometrici
Pubblicazioni
Impact factor
Impatto delle citazioni
Collaborazioni internazionali
Prestigio delle citazioni
Altri indicatori
Valutazione dei pari
Brevetti, licenze, spin-off
Inviti alle conferenze
Finanziamenti esterni
“Qualità” dei PhD
Agenzia vigilata dal MIURSette membri (tutti universitari)
Gli attori della VQR
ANVUR Gruppi di Esperti della Valutazione (GEV) Revisori
Strutture Università Dipartimenti Enti di ricerca
CINECA Ricercatori
La VQR
GEV 14 Gruppi 450 esperti (di cui 3 del CNR)
Cronoprogramma della VQR Inizio: novembre 2011 Fine: giugno 2013
VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
AreaFull professor
Assistant professor Researcher TOTAL
Researcher
Technologist
Max number of products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering 39 1600 1504 1961 5065 579 97 18959Ancient History Philological Literature and Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455
La metodologia
15 indicatori utilizzati 7 indicatori di Area 8 indicatori di “Terza missione”
Indicatori
Indicatori di Area legati alla ricerca:qualità (0,5)attrazione di risorse (0,1)mobilità (0,1)internazionalizzazione (0,1)alta formazione (0,1)risorse proprie (0,05)miglioramento (0,05)
Oggi l’attenzione è tutta qui
Qualità dei “prodotti”
Punteggi:eccellente 1,0 20% superiore della scala internazionale
buono 0,8 60-80%
accettabile 0,5 50-60%
limitato 0,0 <50%
mancante -0,5non valutabile-1,0plagio o frode -2,0
Problemi della valutazione dei prodotti
Valutazione dei pari/bibliometria
Riviste da includere
Pesi20-20-10-50
Valori positivi e negativi
Prodotti 6/3
Selezione dei referee
Giudizio finale dei GEV
Presenza schiacciante degli universitari
Associati
Gli indicatori
Indicatori di struttura di ‘terza missione’:conto terzi (0,2)brevetti (0,1)spin-off (0,1)incubatori (0,1)consorzi (0,1)siti archeologici (0,1)poli museali (0,1)altre attività (0,2)
Quanti indicatori?Uno, nessuno, centomila?
Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)
Scenari possibili: Graduatorie (Shanghai) multi-ranking
Valutazione della Qualità della Ricerca (VQR)
Didattica
Ricerca
Terza missione
Ricerca
Terza missione
Enti di ricercaUniversità
VAlutazione delle Strutture che svolgono Attività di
RIcerca e di TRAsferimento delle COnoscenze
Valutazione della Qualità della Ricerca (VQR)
(VASARITRACO)
Il progetto della VQR
Il progetto della VQR è ancora una abbozzo, manca la stesura finale in cui sono specificate le modalità di misurazione
Un profilo degli enti pubblici di ricerca
Gli enti pubblici di ricerca: realtà molto eterogenee
Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla
differenziazione scientifica e tecnologica
svolge attività di
ricerca
svolge attività di
formazione
svolge attività di servizio
Enti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no no
Altri entiEnea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no
Caratteristiche
6/12 5/12 5/12
La valutazione degli Istituti del CNR
Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
La valutazione degli Istituti del CNRUn’opportunità persa?
http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf
Alcune considerazioni
Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli enti di ricerca Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e
“in loco”) Informazioni “vecchie” (2004-2010) per un’utilizzazione
futura in tempi di “vacche magre” Valutazione adiuvante, non punitiva Modalità di utilizzazione dei risultati da parte dei policy
maker
Sfide per il CNR
Penalizzazione del CNR – è più che un rischio Prestare attenzione agli “altri” 14 indicatori Tipo e qualità dei dati da fornire all’ANVUR Valutazione dell’ente, degli istituti e dei
ricercatori/tecnologi Come rapportarsi con gli altri enti (concorrenti)? Chiedere che gli enti di ricerca siano valutati a parte Chiedere un “momento di riflessione” per migliorare la
metodologia Gestire le tensioni all’interno del CNR
E ora … affrontiamo le sfideMettiamoci a lavoro
Grazie dell’attenzione