Gruppo di Lavoro per la Gruppo di Lavoro per la Valutazione della RicercaValutazione della Ricerca

Chiefari, Diemoz, Dosselli, VercesiChiefari, Diemoz, Dosselli, Vercesi

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 2

Definizioni e presupposti

Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da parte del CIVR (MIUR)

La valutazione della ricerca è un processo fondato sull’analisi critica di dati e informazioni, che conduce ad un giudizio di merito. L’obiettività del processo presuppone

Criteri e metodologie predefiniti Valutatori esterni alla struttura e non coinvolti nel processo da valutare

L’esercizio completo si tiene con cadenza triennale Il Ministero stabilisce l’organizzazione generale e la destinazione di

adeguate strutture di supporto Valutazione della Ricerca non come processo burocratico, ma preziosa

opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture

Qualità e rilevanza della produzione scientifica, nuove frontiere Originalità, innovazione, internazionalizzazione Capacità di gestire risorse, dare risposte a grandi temi sociali Indicazioni per pianificazione strategica degli interventi per la ricerca

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 3

Valutazione Triennale della Ricerca

Decreto del MIUR n. 2206, registrato alla Corte dei Conti il 12 marzo 2004 Disciplina il processo di valutazione dei risultati della ricerca, che riguarda le

seguenti strutture Università (statali, non statali legalmente riconosciute) Enti di ricerca, ENEA e ASI altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta…

L'attuazione e la gestione del processo sono affidate al Comitato di Indirizzo per la Valutazione della Ricerca (CIVR)

L’esercizio di valutazione coinvolge il personale di ricerca delle Strutture (a tempo indeterminato e a tempo determinato), che ha come esito principale della propria attività la pubblicazione di prodotti di ricerca

Ai fini del presente decreto per personale di ricerca si intende professori e ricercatori delle Università (con peso 0,5 ETP) ricercatori degli Enti di ricerca (con peso 1 ETP) personale di ricerca dipendente dagli altri soggetti pubblici e privati (con peso

variabile, rapportato all’impegno contrattuale finalizzato alla ricerca)

http://www.civr.it/news/decreto_miur2206RIC.pdf

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 4

Bando di partecipazione

Primo esercizio di Valutazione Triennale della Ricerca (VTR) L’esercizio è rivolto alla valutazione della performance scientifica delle

”Strutture” di ricerca di cui al decreto L’esercizio 2001-2003 verrà articolato sulle 14 Aree disciplinari indicate

dal Comitato Universitario Nazionale (CUN) e su 6 Aree speciali Per ogni Area viene costituito presso il CIVR un unico Comitato (Panel)

di Area, con esperti di alto livello, anche stranieri, scelti sulla base della specializzazione, capacità ed esperienza

La valutazione viene effettuata sulla base di elementi conoscitivi forniti dalle Strutture interessate alla valutazione, che sono di tre tipi

prodotti scientifici selezionati dalle Strutture stesse tra quelli ritenuti i migliori e più significativi, atti a dimostrarne la qualità e consistenza scientifica

dati sulle dimensioni complessive della Struttura, in termini di risorse disponibili e acquisite e sul loro impiego nella ricerca

un rapporto triennale da parte del proprio Nucleo o Comitato di Valutazione (NUV/CIV) o, in sua assenza, da parte dei responsabili della Struttura stessa

http://www.civr.it/news/bando35(16.3.04).pdf

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 5

Scaletta temporale

L’elenco dei prodotti selezionati da parte delle Strutture (punto 1), pari al 50% del numero medio di ETP nel triennio e validati dai NUV/CIV dovranno essere trasmessi per via telematica (CINECA) ai Panel entro il 30 giugno 2004

Per la CSN1 corrispondono a circa 200 prodotti I dati e le informazioni di cui al punto 2), nonchè i rapporti dei NUV/CIV, di cui al punto 3),

dovranno essere trasmessi al CIVR entro il 31 dicembre 2004 Varie informazioni riguardanti la performance della ricerca, elementi di valutazione dell’impatto

socio-economico, mobilità,… Il Rapporto dei Panel, che deve pervenire al CIVR entro il 30 giugno 2005, è un rapporto

collegiale articolato in tre parti distinte Valutazione dei singoli prodotti (consensus report)

Riesame critico dei giudizi di merito degli esperti esterni, ricondotti ad un momento di sintesi, articolato in quattro livelli (eccellente; buono; accettabile; limitato).

Ranking list delle Strutture Attribuisce le Strutture a fasce di merito predefinite dal CIVR

Relazione finale Punti di forza e di debolezza dell’Area a livello complessivo in relazione ai vari aspetti presi in esame (merito

scientifico, produttività, impatto del settore scientifico nel confronto internazionale), suggerendo, ove possibile, specifici interventi, che permettano di migliorare le opportunità e gli aspetti ritenuti critici

Al CIVR compete la stesura della relazione finale dell’esercizio 2001-2003 del VTR, da consegnare al Ministro entro il 31 marzo 2006, che comprende:

il giudizio di merito per ogni singola Struttura la valutazione di merito complessivo del sistema nazionale della ricerca, sia per Area che globale,

che emerge dalla integrazione degli elementi di analisi a disposizione del CIVR

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 6

Criteri di Valutazione

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 7

Numerologia

TotaliSelez % sel Sample

162 47 0,29 0,20192 64 0,33 0,27119 53 0,45 0,2284 49 0,58 0,2156 25 0,45 0,10

613 238 0,39

2001-2002-2003Linea CSN1

Totali

LHC (ATLAS,CMS,LHCb)

Materia-Anti (BABAR,KLOE,NA48,BTEV)Hadronic (CDF,FOCUS,JFNAL)DIS (COMPASS,ZEUS)

LEP (ALEPH,DELPHI,OPAL,L3)

Selezionati a partire dalle priorità date dai Responsabili Nazionali.Utilizzati criteri legati all’IF, notorietà, etc

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 8

Statistiche

Prodotti Totali

26%

32%

19%

14%

9%

1

2

3

4

5

Prodotti Selezionati

20%

26%

22%

21%

11%

LHC (ATLAS,CMS,LHCb)

LEP(ALEPH,DELPHI,OPAL,L3)

Materia-Anti(BABAR,KLOE,NA48,BTEV)

Hadronic(CDF,FOCUS,JFNAL)

DIS (COMPASS,ZEUS)

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 9

Prodotti selezionati della Ricerca

Due tipologie di prodotti Pubblicazioni: caratteristici della nostra produttività scientifica Progetti: rappresentativi delle grandi realizzazioni sperimentali e dei contatti

con il mondo industriale Ogni prodotto sarà presentato solamente tramite una scheda, contenuta

in un massimo di 3500 caratteri, che deve riportare riferimenti bibliografici area e disciplina di riferimento un riassunto (abstract)

Comprensibile ad un “fisico quadratico medio” (non c’è Panel dedicato all’INFN) l’affiliazione degli autori ogni notizia utile a definire il collocamento internazionale l’eventuale carattere interdisciplinare e la notorietà del prodotto, nonché

l'autorevolezza della rivista / editore / manifestazione / ecc., con cui è stato reso pubblico, inclusi, se applicabili e rilevanti, gli indici bibliometrici (ad esempio, impact factor, citation analysis e recensioni

5 parole chiave scelte dall’apposito menu della procedura informatizzata del CINECA

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 10

Confronto con altri Enti

CIVR ISI Totale ISI All

INFN 1538 1642 1704CNR 5333 3782 20264 4159ENEA 427 295 1351 299INFM 2302 1430 3268 1469

Dati da relazione CIVR e database ISI, anno 2000 CIVR: numero risultante dalla relazione annuale 2000-2001 ISI: numero ottenuto dal database con ricerca per Ente Tot: numero totale di lavori dichiarato dagli Enti (anche non su

rivista) ISI All: numero totale (non solo article) di lavori risultanti su ISI

CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 11

Next steps

Ogni esperimento ha fornito al GLV un rappresentante che seguirà il lavoro di preparazione dei prodotti

Assegnazione delle schede ai responsabili della stesura Monitor della compilazione secondo le regole che ci siamo dati

Entro il 5 maggio dobbiamo avere il 20% delle schede pronte

Riunione del GLV per risolvere ultime ambiguità e definire la “numerologia” finale

Inclusione dei prodotti dei Laboratori Nazionali Massima attenzione a non includere prodotti di valore limitato che

possono far scivolare la valutazione del CIVR 1 Luglio: riunione con il CIV (Montgomery et al.) che

prenderà in esame la validazione dei prodotti e la preparazione del rapporto finale

Massima collaborazione necessaria per garantire la perfetta riuscita dell’esercizio