civr comitato di indirizzo per la valutazione della ricerca ________________________________...
TRANSCRIPT
CIVRComitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del 30 marzo 2006, ore 11
Panel 01 Scienze matematiche e informatiche Prof. Alfio Quarteroni
VTR 2001- 2003
• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.• Favorire la diffusione dei risultati della ricerca.• Assicurare trasparenza al processo.
Scopi e specificità del VTR
CIVR
Strutture di ricerca
Panel di Area
GovernoStrutture di ricercaComunità scientifica
Giudizi
• D
ati
& in
form
azi
on
i•
Re
lazi
on
e N
UV
/CIV
Prodotti
Il processo
Strutture partecipanti
Area 01Atenei 53
Enti pubblici di Ricerca (CNR,INDAM)
2
Istituzioni private di Ricerca --
1.1. Scienze matematiche e informatiche2. Scienze fisiche3. Scienze chimiche4. Scienze della terra5. Scienze biologiche6. Scienze mediche7. Scienze agrarie e veterinarie8. Ingegneria civile ed architettura9. Ingegneria industriale e dell’informazione10. Scienze dell’antichità, filologico-letterarie e storico-artistiche11. Scienze storiche, filosofiche, psicologiche e pedagogiche12. Scienze giuridiche13. Scienze economiche e statistiche14. Scienze politiche e sociali
Aree
15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte
Prodotti selezionabili
Selezione dei prodotti (1)
• Le strutture (Universita’, etc.) hanno selezionato in autonomia i prodotti da trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive.
• L’area selezionata dipendeva dalla collocazione del prodotto e non da quella degli autori.
• Per ciascun prodotto è stata trasmessa una scheda illustrativa, con l’allegato in pdf della pubblicazione.
(In assenza di allegato, è stata richiesta alle Strutture copia cartacea)
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse;
• Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo.
• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità.
• Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità.
Criteri (1)
• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.Integra il giudizio di qualità.
• Impatto: effetti sociali, economici e culturali, diretti e indiretti del prodotto.
Criteri (2)
• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): – eccellente – buono – accettabile – limitato
Livelli di merito dei prodotti (1)
• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.• Accettabile: il prodotto si colloca nel segmento
40-60%.• Limitato: il prodotto si colloca nel 40% inferiore.
Livelli di merito dei prodotti (2)
Componenti del Panel 01
• ALBEVERIO SERGIO (Bonn)
• CANNONE MARCO (CNRS-Paris)
• NIVAT MAURICE (Paris)
• PICCOLI BENEDETTO (CNR-Roma)
• PROCESI CLAUDIO (Roma-La Sapienza)
• QUARTERONI ALFIO (Presidente)
(Politecnico di Milano e EPFL, Lausanne)
• VANNESCHI MARCO (Pisa)
Distribuzione dei prodotti
I prodotti sono stati distribuiti fra i panelist in base alle specifiche competenze:
Panelist Prodotti assegnati
Sergio Albeverio 124Marco Cannone 126Maurice Nivat 71Benedetto Piccoli 147Claudio Procesi 139Alfio Quarteroni 130Marco Vanneschi 50
Totale 787
Sottogruppi del Panel 01
• CONSENSUS GROUP N.1: NIVAT MAURICE PICCOLI BENEDETTO QUARTERONI ALFIO MARIA VANNESCHI MARCO (Mat. Appl. e Informatica)
• CONSENSUS GROUP N.2: ALBEVERIO SERGIO CANNONE MARCO PROCESI CLAUDIO (Mat.”Pura”)
Prodotti valutati nell’area
Area 01Prodotti presentati dalle Strutture 840
di cui:
96 presentati da 2 Strutture -48
6 presentati da 3 Strutture -4
2 presentati 2 volte dalla stessa Struttura -1
Prodotti valutati dal Panel 787
Numero di prodotti presentati
Grandi strutture (≥25 prodotti)
25
30 30 31 31 3235
38
42
51
28
43
61
24
28
32
36
40
44
48
52
56
60
64
Milano POLITECNICOMilano STATALETorino UNIVERSITA'GENOVAPADOVAPALERMOFIRENZEBOLOGNAINDAMPISA Univ.NAPOLI Federico IICNRROMA Sapienza
Numero di prodotti presentati
Medie strutture (10-24 prodotti)
101112131415161718192021222324
Cagliari - Lecce
Udine - Perugia Parma - Pavia - Milano Bicocca
Trieste - L'Aquila
SalernoTorino POLITECNICO - Bari
CataniaRoma Tor Vergata
Numero di prodotti presentati
0123456789
10
Sannio - IUAV - Sassari - Urbino - Cassino
Bergamo
SISSA - Pisa NORMALE - CATTOLICA
Verona - Marche - Reggio Calabria
Basilicata - Brescia - Chieti/Pescara
Insubria - Camerino - Piemonte Or. - Napoli II
Bari Politecnico - Siena - Venezia
Ferrara
Roma Tre - Modena e Reggio E. - Calabria
Piccole strutture (≤9 prodotti)
Esperti esterni coinvolti
Area 01
Nazionalità ProvenienzaNumero esperti
Numero Valut.
Valut/esperto
Italiana Accademica 113 722 6.4
ItalianaNon-accademica
20 85 4.3
Straniera Mista 119 767 6.4
Totali 252 1.574 6.2
Area 01Tipologia Numero %
Articolo su rivista 746 94.79
Brevetto 2 0.25
Capitolo di libro 7 0.89
Libro 26 0.30
Performance, mostra ed esposizione 1 0.13
Progetto, composizione, disegno e design 2 0.25
Risultato di valorizzazione applicativa 3 0.38
Totale 787 100
Tipologia dei prodotti (1)
Area 01Tipologia prodotto numero valutati eccellente
ISI 721 256 (35.5%)
Altri (non-ISI, libri, etc.) 66 28 (42.4%)
Totale 787 284 (36.0%)
Tipologia dei prodotti (2)
Riviste ricorrenti
Area 01
0 5 10 15 20 25 30
THEORETICAL COMPUTER SCIENCE
TRANSAC OF THE AMERICAN MATHEMATICAL SOC
ANN INSTITUT H POINCARE. ANALYSE NON LINEAIRE
SIAM J OURNAL ON CONTROL AND OPTIMIZATION
SIAM J OURNAL ON NUMERICAL ANALYSIS
J OURNAL OF ALGEBRA
J OURNAL OF MATHEMATICAL PHYSICS
NUMERISCHE MATHEMATIK
J OURNAL OF FUNCTIONAL ANALYSIS
MATHEMATICAL MODELS & METHODS IN APPLIED SCI
J OURNAL OF DIFFERENTIAL EQUATIONS
COMMUNICATIONS IN MATHEMATICAL PHYSICS
ARCHIVE FOR RATIONAL MECHANICS AND ANALYSIS
Riv
ista
numero
Tipologia e qualità dei prodotti
Area 01 Scienze matematiche e informatiche
0% 25% 50% 75% 100%
Articolo su rivista (746)
Brevetto (2)
Capitolo di libro (7)
Libro (26)
Performance, mostra ed esposizione (1)
Progetto, composizione, disegno e design (2)
Risultato di valorizzazione applicativa (3)
Eccellente Buono Accettabile Limitato
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Matematica
3. Chimica
6. Medicina
5. Biologia
15b. Qualità alimenti
15c. Nano e Micro Tec
7. Sc Agrarie - Veterinarie
2. Fisica
4. Geologia
9. Ing Industriale - Inform
15d. Sc Aerospaziali
15a. ICT
13. Economia - Statistica
15e. Sviluppo Sostenibile
8. Ing Civile - Arch
15f. Beni Culturali
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
10. Sc Filol-Lett Stor-Art
12. Sc Giuridiche
ITALIANO INGLESE ALTRO
Nelle diverse Aree
Distribuzione per Lingua
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Totale
Prodotti eccellenti
15f. Beni Culturali
15e. Sviluppo
15d. Sc Aerospaziali
15c. Nano e Micro Tec
15b. Qualità Alimenti
15a ICT
14. Sc Politiche - Sociali
13. Economia -
12. Sc Giuridiche
11. Sc Stor Filos Psic
10. Sc Filol-Lett Stor-Art
9. Ing Industriale -
8. Ing Civile - Arch
7. Sc Agrarie -
6. Medicina
5. Biologia
4. Geologia
3. Chimica
2. Fisica
1. Matematica
Grado medio di Proprietà
Andamento complessivo per area0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. I ng Civile - Arch
9. I ng I ndustriale - I nform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. I CT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente Buono Accettabile Limitato
Distribuzione dei giudizi (2)
Distribuzione dei giudizi (3)
Area 01 - 787 prodotti
36%
48%
13%
3%
Eccellente Buono Accettabile Limitato
Analisi divergenze giudizi
Impact Factor dei prodotti (1)
Media ( ♦ ) e intervallo di variazione ( )
Peso dei giudizi
Giudizio Significato Peso
EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
1
Buono Il prodotto si colloca nel segmento 60%-80% 0.8
Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6
Limitato Il prodotto si colloca nel 40% inferiore 0.2
La Valutazione delle Aree (1)
Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.
Il rating
La Valutazione delle Aree (2)
La Valutazione delle Aree (5)
La Valutazione delle Aree (6)
Analisi dei dati:Il panel ha classificato i prodotti secondo i seguenti settori scientifico-disciplinari del MIUR, Area 01-Scienze matematiche e informatiche:
MAT 01 Logica matematicaMAT 02 AlgebraMAT 03 GeometriaMAT 04 Matematiche complementariMAT 05 Analisi matematicaMAT 06 Probabilità e statistica matematicaMAT 07 Fisica matematicaMAT 08 Analisi numericaMAT 09 Ricerca operativa e in piùInformatica teoricaSoftwareAlgoritmica non numerica
La Valutazione delle Aree (7)
0
20
40
60
80
100
120
140
MAT01 MAT02 MAT03 MAT04 MAT05 MAT06 MAT07 MAT08 MAT09 INFTEO
ALG NN SOFT
EBAL
Suggerimenti (1)
Possibilità di un terzo giudizio: per i prodotti che hanno ricevuto giudizi molto discordanti (ad es. E-L), si potrebbe sempre chiedere un terzo giudizio ad un esperto indipendente.
Un grado di giudizio in più (o in meno): la distinzione buono/eccellente risulta forse troppo sfumata. Può essere utile sia introdurre una nuova fascia “very good”, sia ridurre i gradi di giudizio a tre. Inoltre si potrebbe indicare una stima di massima del numero di prodotti da ritenere eccellenti, da cui non discostarsi eccessivamente.
Suggerimenti (2)
Correttivi nel ranking? E' chiaro che per strutture medie/grandi la legge dei grandi numeri gioca a favore del processo di valutazione e produce un risultato ragionevole. Per piccole strutture, invece, accade il contrario, e le fluttuazioni statistiche sono significative. Sembra opportuno mettere un limite inferiore al numero dei prodotti oppure introdurre più criteri per strutture piccole.
Correttivi “locali”: si potrebbe considerare la customizzazione per area di alcuni (se non tutti) fra i criteri di valutazione, direttamente da parte del CIVR con la collaborazione del Panel di area.