civr comitato di indirizzo per la valutazione della ricerca ________________________________...

CIVRComitato di Indirizzo per la Valutazione della Ricerca

________________________________

Incontro CRUI del 12 aprile 2006, ore 15

Panel 11 Scienze storiche, filosofiche, pedagogiche e psicologiche

Prof. Evandro Agazzi

VTR 2001- 2003

• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.

• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.

• Avviare procedure sistematiche di raffronto.• Favorire la diffusione dei risultati della ricerca.• Assicurare trasparenza al processo.

Scopi e specificità del VTR

CIVR

Strutture di ricerca

Panel di Area

GovernoStrutture di ricercaComunità scientifica

Giudizi

• D

ati

& in

form

azi

on

i•

Re

lazi

on

e N

UV

/CIV

Prodotti

Il processo

Strutture partecipanti

Area 11Atenei 61

Enti pubblici di Ricerca 1

Istituzioni private di Ricerca 2

1.1. Scienze matematiche e informatiche2. Scienze fisiche3. Scienze chimiche4. Scienze della terra5. Scienze biologiche6. Scienze mediche7. Scienze agrarie e veterinarie8. Ingegneria civile ed architettura9. Ingegneria industriale e dell’informazione10. Scienze dell’antichità, filologico-letterarie e storico-artistiche

11. Scienze storiche, filosofiche, psicologiche e pedagogiche12. Scienze giuridiche13. Scienze economiche e statistiche14. Scienze politiche e sociali

Aree

15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte

Prodotti selezionabili

• Attività puramente editoriali• Testi o software di esclusivo interesse didattico• Abstract di conferenze• Prove e analisi di routine• Rapporti tecnici interni

Prodotti non selezionabili

Selezione dei prodotti (1)

• Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel.

• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP.

• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa.

• Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del prodotto

e non da quella degli autori.• Per ciascun prodotto è stata trasmessa una scheda

illustrativa, con l’allegato in pdf della pubblicazione.• In assenza di allegato, è stata richiesta alle Strutture copia

cartacea.

Selezione dei prodotti (2)

• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area;

• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse;

• ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.

Giudizio di merito sui prodotti

• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale

(per i risultati di valorizzazione applicativa)

• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo.

• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review).

• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità.

• Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità.

Criteri (1)

• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.Integra il giudizio di qualità.

• Impatto: effetti sociali, economici e culturali, diretti e indiretti del prodotto.

Criteri (2)

Esperti esterni

• Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi;

• agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture;

• agli esperti è stato garantito l’anonimato dei giudizi.

• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): – eccellente – buono – accettabile – limitato

Livelli di merito dei prodotti (1)

• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.

• Buono: il prodotto si colloca nel segmento 60-80%.• Accettabile: il prodotto si colloca nel segmento

40-60%.• Limitato: il prodotto si colloca nel 40% inferiore.

Livelli di merito dei prodotti (2)

Grado di proprietà dei prodotti

• È espresso dal rapporto tra:

N. autori affiliati alla Struttura/N. complessivo autori

• Sono state considerate anche le affiliazioni multiple.

• È stato determinato sia sul numero totale dei

prodotti presentati dalla Struttura, sia sui soli

prodotti giudicati eccellenti.

Componenti del Panel 11

• AGAZZI EVANDRO (Presidente)• BEDESCHI GIUSEPPE • BERTI ENRICO • BUTERA FABRIZIO • CARAMAZZA ALFONSO • CARDINI FRANCO • CHIOSSO GIORGIO • DAZZI NINO • KING RUSSELL • PARLATO GIUSEPPE • SCABINI EUGENIA

Sottogruppi del Panel 11

• CONSENSUS GROUP N.1: AGAZZI EVANDRO BEDESCHI GIUSEPPE BERTI ENRICO

• CONSENSUS GROUP N.2: BUTERA FABRIZIO CARAMAZZA ALFONSO DAZZI NINO SCABINI EUGENIA

• CONSENSUS GROUP N.3: CARDINI FRANCO CHIOSSO GIORGIO KING RUSSELL PARLATO GIUSEPPE

Prodotti valutati nell’area

Area 11Prodotti presentati dalle Strutture 1.183

di cui:

12 presentati da 2 Strutture -6

Prodotti valutati dal Panel 1.177

Esperti esterni coinvolti

Area 11Nazionalità Provenienza Num. esperti Num. valutazioni

Italiana Accademica 388 2.032

Italiana Non-accademica 37 163

Straniera Mista 45 161

Totali 470 2.356

Prodotti valutati (1)

Distribuzione per tipologia nelle diverse Aree

Prodotti valutati (2)

Area 11Tipologia Numero %

Articolo su rivista 256 21.75

Capitolo di libro 205 17.42

Libro 702 59.64

Performance, mostra ed esposizione 5 0.42

Progetto, composizione, disegno e design 5 0.42

Risultato di valorizzazione applicativa 4 0.34

Totale 1.177 100

Tipologia dei prodotti (1)

Area 11Tipologia prodotto numero valutati eccellente

ISI 173 79 (45.7%)

Altri (non-ISI, libri, etc.) 1.004 253 (25.2%)

Totale 1.177 332 (28.2%)

Tipologia dei prodotti (2)

Riviste ricorrenti

Area 11 Scienze storiche, filosofiche, pedagogiche e psicologiche

0 2 4 6 8 10

CHILD DEVELOPMENT

COGNITIVE BRAIN RESEARCH

J OURNAL OF COGNITIVE NEUROSCIENCE

NATURE

NATURE NEUROSCIENCE

SLEEP

STUDI STORICI

BRAIN AND LANGUAGE

CEREBRAL CORTEX

J OF COMMUNITY & APPLIED SOCIAL PSYCHOLOGY

BRAIN

J OURNAL OF PERSONALITY AND SOCIAL PSYCHOLOGY

NEUROPSYCHOLOGIA

Riv

ista

numero

Tipologia e qualità dei prodotti

Area 11 Scienze storiche, filosofiche, pedagogiche e psicologiche

0% 25% 50% 75% 100%

Articolo su rivista (256)

Capitolo di libro (205)

Libro (702)

Performance, mostra ed esposizione (5)

Progetto, composizione, disegno e design (5)

Risultato di valorizzazione applicativa (4)

Eccellente Buono Accettabile Limitato

Tutte le Aree

Distribuzione per Lingua

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

1. Matematica

3. Chimica

6. Medicina

5. Biologia

15b. Qualità alimenti

15c. Nano e Micro Tec

7. Sc Agrarie - Veterinarie

2. Fisica

4. Geologia

9. Ing Industriale - Inform

15d. Sc Aerospaziali

15a. ICT

13. Economia - Statistica

15e. Sviluppo Sostenibile

8. Ing Civile - Arch

15f. Beni Culturali

14. Sc Politiche - Sociali

11. Sc Stor Filos Psic Ped

10. Sc Filol-Lett Stor-Art

12. Sc Giuridiche

ITALIANO INGLESE ALTRO

Nelle diverse Aree

Distribuzione per Lingua

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Totale

Prodotti eccellenti

15f. Beni Culturali

15e. Sviluppo



15b. Qualità Alimenti

15a ICT


13. Economia -

12. Sc Giuridiche

11. Sc Stor Filos Psic


9. Ing Industriale -

8. Ing Civile - Arch

7. Sc Agrarie -

6. Medicina

5. Biologia

4. Geologia

3. Chimica

2. Fisica

1. Matematica

Grado medio di Proprietà

Grado di proprietà dei prodotti

Media ( ♦ ) e intervallo di variazione ( )

5%

19%

46%

30%

1%

8%

39%

52%

Eccellente Buono Accettabile Lim itato

Prodotti presentati da: Una sola struttura Più strutture

Distribuzione dei giudizi (1)

17.329 prodotti di tutte le Aree

Andamento complessivo per area0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

1. Matematica

2. Fisica

3. Chimica

4. Geologia

5. Biologia

6. Medicina

7. Sc Agrarie - Veterinarie

8. I ng Civile - Arch

9. I ng I ndustriale - I nform


11. Sc Stor Filos Psic Ped

12. Sc Giuridiche

13. Economia - Statistica


15a. I CT

15b. Qualità alimenti



15e. Sviluppo Sostenibile

15f. Beni Culturali




Area 11 - 1177 prodotti

28%

47%

21%

4%


Analisi divergenze giudizi

Impact Factor dei prodotti

Media ( ♦ ) e intervallo di variazione ( )

Impact Factor dei prodotti (2)

Peso dei giudizi

Giudizio Significato Peso

EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale

1

Buono Il prodotto si colloca nel segmento 60%-80% 0.8

Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6

Limitato Il prodotto si colloca nel 40% inferiore 0.2

La Valutazione delle Aree (1)

Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.

Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.

Il rating


Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:


http://vtr2006.cineca.it/

civr comitato di indirizzo per la valutazione della ricerca ________________________________...

Documents