valutazione vqr: seminario giorgio sirilli 19.3.2012

CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie

''Massimo Severo Giannini''

Roma, 19 marzo 2012

La Valutazione della Ricerca del CNR

Le sfide della VQR dell’ANVUR

Giorgio Sirilli

Un Seminario di politica scientifica

La genesi L’approccio Gli attori La Valutazione della Qualità della Ricerca (VQR) Discussione Le sfide

Indice

Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR?

La domanda

Possibile classifica degli enti di ricerca

INFN

CNR.…

.….…

.….…

E’ possibile pronosticare l’esito della VQR per gli enti di ricerca?

No

Un precedente

Studio all’inizio del millennio (2002) Il 3% di Lisbona

1,20

L’approccio

Domanda di ricerca Dati Elaborazione Conclusioni Previsioni e raccomandazioni

La valutazione della ricerca

La valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati.

La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.

Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che Gli chiese: “Dio, come fai a sapere che quello che hai creato è ‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi la Tua valutazione? Non sei Tu forse un po’ troppo direttamente coinvolto per dare un giudizio spassionato?” Dio rifletté su queste domande per tutto il settimo giorno, ed il Suo riposo fu molto agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.

La prima valutazione (Genesi)

La valutazione e gli indicatori

L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parziale

La valutazione e gli indicatori

Each in his own opinionExceeding stiff and strong,Though each was partly

in the right,And all were in the wrong!

John Godfrey Saxe (1816–1887)

"The Blind Men and the Elephant"

Ciascuno con la sua opinioneConvinto caparbiamente di essere

nel giusto,Sebbene ciascuno fosse

parzialmente nel giusto,Tutti erano nell’errore!

John Godfrey Saxe (1816–1887)"The Blind Men and the Elephant"

(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton:

- universalismo- comunitarismo- disinteresse- scetticismo organizzatosono sempre più erosi”

La valutazione

14

La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società

La matrice multidimensionale della valutazione

Unità da valutare

Individuo

Gruppo di ricerca

Dipartimento

Istituzione

Area di ricerca

Obiettivo

Allocazione di risorse

Miglioramento della performance

Incremento della multidisciplinarità

Incremento del coinvolgimento regionale

Promozioni, reclutamento

Dimensioni dell’output

Produttività della ricerca

Impatto sulla comunità scientifica

Innovazione e beneficio sociale

Sostenibilità

Infrastrutture di ricerca

Indicatori bibliometrici

Pubblicazioni

Impact factor

Impatto delle citazioni

Collaborazioni internazionali

Prestigio delle citazioni

Altri indicatori

Valutazione dei pari

Brevetti, licenze, spin-off

Inviti alle conferenze

Finanziamenti esterni

“Qualità” dei PhD

La VQR

Unità da valutare

Individuo

Gruppo di ricerca

Diparti-mento

Istituzione

Area di ricerca

Obiettivo

Allocazione di risorse

Miglioramento della performance

Incremento della multidisciplinarità

Incremento del coinvolgimento regionale

Promozioni, reclutamento

Dimensioni dell’output

Produttività della ricerca

Impatto sulla comunità scientifica

Innovazione e beneficio sociale

Sostenibilità

Infrastrutture di ricerca

Indicatori bibliometrici

Pubblicazioni

Impact factor

Impatto delle citazioni

Collaborazioni internazionali

Prestigio delle citazioni

Altri indicatori

Valutazione dei pari

Brevetti, licenze, spin-off

Inviti alle conferenze

Finanziamenti esterni

“Qualità” dei PhD

ROARS

http://www.roars.it/online/

Agenzia vigilata dal MIURSette membri (tutti universitari)

Gli attori della VQR

ANVUR Gruppi di Esperti della Valutazione (GEV) Revisori

Strutture Università Dipartimenti Enti di ricerca

CINECA Ricercatori

La VQR

GEV 14 Gruppi 450 esperti (di cui 3 del CNR)

Cronoprogramma della VQR Inizio: novembre 2011 Fine: giugno 2013

VQR – Aree, GEV, ricercatori, prodotti

GEV Universities Research agencies

AreaFull professor

Assistant professor Researcher TOTAL

Researcher

Technologist

Max number of products

Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering 39 1600 1504 1961 5065 579 97 18959Ancient History Philological Literature and Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455

La metodologia

15 indicatori utilizzati 7 indicatori di Area 8 indicatori di “Terza missione”

Indicatori

Indicatori di Area legati alla ricerca:qualità (0,5)attrazione di risorse (0,1)mobilità (0,1)internazionalizzazione (0,1)alta formazione (0,1)risorse proprie (0,05)miglioramento (0,05)

Oggi l’attenzione è tutta qui

Qualità dei “prodotti”

Punteggi:eccellente 1,0 20% superiore della scala internazionale

buono 0,8 60-80%

accettabile 0,5 50-60%

limitato 0,0 <50%

mancante -0,5non valutabile-1,0plagio o frode -2,0

Problemi della valutazione dei prodotti

Valutazione dei pari/bibliometria

Riviste da includere

Pesi20-20-10-50

Valori positivi e negativi

Prodotti 6/3

Selezione dei referee

Giudizio finale dei GEV

Presenza schiacciante degli universitari

Associati

Gli indicatori

Indicatori di struttura di ‘terza missione’:conto terzi (0,2)brevetti (0,1)spin-off (0,1)incubatori (0,1)consorzi (0,1)siti archeologici (0,1)poli museali (0,1)altre attività (0,2)

Quanti indicatori?Uno, nessuno, centomila?

Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)

Scenari possibili: Graduatorie (Shanghai) multi-ranking

Valutazione della Qualità della Ricerca (VQR)

Didattica

Ricerca

Terza missione

Ricerca

Terza missione

Enti di ricercaUniversità

VAlutazione delle Strutture che svolgono Attività di

RIcerca e di TRAsferimento delle COnoscenze

Valutazione della Qualità della Ricerca (VQR)

(VASARITRACO)

Il progetto della VQR

Il progetto della VQR è ancora una abbozzo, manca la stesura finale in cui sono specificate le modalità di misurazione

Un profilo degli enti pubblici di ricerca

Gli enti pubblici di ricerca: realtà molto eterogenee

Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009

Sigla

differenziazione scientifica e tecnologica

svolge attività di

ricerca

svolge attività di

formazione

svolge attività di servizio

Enti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no no

Altri entiEnea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no

Caratteristiche

6/12 5/12 5/12

La valutazione degli Istituti del CNR

Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”

L a valutazione degli Istituti - 2009

L a valutazione degli Istituti - 2009

L a valutazione degli Istituti - 2009

La valutazione degli Istituti del CNRUn’opportunità persa?

http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf

Alcune considerazioni

Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli enti di ricerca Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e

“in loco”) Informazioni “vecchie” (2004-2010) per un’utilizzazione

futura in tempi di “vacche magre” Valutazione adiuvante, non punitiva Modalità di utilizzazione dei risultati da parte dei policy

maker

Sfide per il CNR

Penalizzazione del CNR – è più che un rischio Prestare attenzione agli “altri” 14 indicatori Tipo e qualità dei dati da fornire all’ANVUR Valutazione dell’ente, degli istituti e dei

ricercatori/tecnologi Come rapportarsi con gli altri enti (concorrenti)? Chiedere che gli enti di ricerca siano valutati a parte Chiedere un “momento di riflessione” per migliorare la

metodologia Gestire le tensioni all’interno del CNR

E ora … affrontiamo le sfideMettiamoci a lavoro

Grazie dell’attenzione