valutazione della qualita della ricerca 20042010 (vqr 2004 ... · (vqr 2004-2010) rapporto finale...

1

Valutazione della Qualita della Ricerca 2004-2010 (VQR 2004-2010)

Rapporto finale di area

Gruppo di Esperti della Valutazione dell’Area 3 (GEV03)

2

1 INTRODUZIONE ............................................................................................................................................ 3

1.1 IL GRUPPO DEGLI ESPERTI DELLA VALUTAZIONE (GEV) ................................................................................................ 5 1.2 I TEMPI ............................................................................................................................................................... 6

1.3 DESCRIZIONE DELL'AREA ...................................................................................................................................... 10

2 LA VALUTAZIONE DEI “PRODOTTI DI RICERCA” ........................................................................................... 11

2.1 I CRITERI DI VALUTAZIONE..................................................................................................................................... 11 2.2 IL PROCESSO DI VALUTAZIONE ............................................................................................................................... 12

2.2.1 Le statistiche ........................................................................................................................................ 13 2.3 I RISULTATI DELLA VALUTAZIONE ............................................................................................................................ 18 2.4 I BREVETTI ........................................................................................................................................................ 20

3 LA VALUTAZIONE DI AREA DELLE STRUTTURE ............................................................................................. 21

3.1 GLI INDICATORI DI QUALITÀ DELLE STRUTTURE NELL’AREA ........................................................................................... 22 3.1.1 Premessa .............................................................................................................................................. 22 3.1.2 Il primo indicatore ................................................................................................................................ 22 3.1.3 Il secondo indicatore ............................................................................................................................ 22 3.1.4 Graduatorie delle strutture sulla base dei due indicatori ................................................................... 23

3.1.4.1 Graduatorie delle Università ...................................................................................................................... 23 3.1.4.2 Graduatorie dei Centri di Ricerca ............................................................................................................... 31 3.1.4.3 Graduatorie dei Consorzi ........................................................................................................................... 33

3.2 L’INDICATORE IRAS1I,J DEL BANDO VQR ................................................................................................................ 34 3.2.1 Graduatorie delle Università – IRAS 1 .................................................................................................. 35 3.2.2 Graduatorie dei Centri di Ricerca – IRAS 1 .......................................................................................... 37 3.2.3 Graduatorie dei Consorzi – IRAS 1 ....................................................................................................... 38

3.3 COMMENTI SUL SIGNIFICATO DEGLI INDICATORI DI STRUTTURA DI AREA ......................................................................... 38

4 LA VALUTAZIONE DI AREA DEI DIPARTIMENTI ............................................................................................ 40

4.1 PREMESSA ........................................................................................................................................................ 40 4.2 GLI INDICATORI DI QUALITÀ DI AREA DEL DIPARTIMENTO ............................................................................................. 40

4.2.1 Il primo indicatore ................................................................................................................................ 41 4.2.2 Il secondo indicatore ............................................................................................................................ 41 4.2.3 Graduatorie dei Dipartimenti sulla base dei due indicatori ................................................................. 41

4.3 L’INDICATORE IRD1I,J,K DEL BANDO VQR ................................................................................................................ 55

5 ANALISI DEI RISULTATI ................................................................................................................................ 64

6 CONCLUSIONI ............................................................................................................................................. 67

APPENDICE A: IL CONFRONTO TRA VALUTAZIONE PEER E VALUTAZIONE BIBLIOMETRICA ................................. 70

APPENDICE B: DOCUMENTI SUI CRITERI DELL’AREA ............................................................................................. 84

APPENDICE C: CONSIDERAZIONI E ANALISI SPECIFICHE DELL’AREA ...................................................................... 96

3

1. Introduzione

L’esercizio di Valutazione della Qualità della Ricerca 2004-2010 (VQR 2004-2010) è stato

avviato in data 7 novembre 2011 con la pubblicazione del bando di Partecipazione alla VQR

2004-2010 da parte del Presidente dell’Agenzia di Valutazione del Sistema Universitario e della

Ricerca (ANVUR). I contenuti del bando si fondano sui criteri e modalità stabilite dal Decreto

del Ministro dell’Istruzione, dell’Università e della Ricerca (MIUR) n. 17 del 15 luglio 2011, in

cui è stato disciplinato il processo di valutazione dei risultati della ricerca di Università statali,

Università non statali legalmente riconosciute, Enti di ricerca pubblica vigilati dal MIUR, altri

soggetti pubblici e privati che svolgono attività di ricerca. In ottemperanza all’art. 2 e 3 del

decreto ministeriale sopra riportato, l’ANVUR si è avvalso, per ciascun’area di valutazione, di

Gruppi di Esperti della Valutazione (GEV), composti di Esperti Valutatori (EV) di elevata

qualificazione, anche stranieri, scelti in base alle competenze scientifiche e alle esperienze

valutative già compiute e ne ha nominati i coordinatori.

L’elaborazione e la condivisione pubblica di indicatori numerici per la valutazione della qualità

scientifica, verificabili anche da chi non faccia parte della stessa comunità disciplinare, rivestono

un significativo ruolo simbolico poiché testimoniano l’intenzione della comunità di sostanziare

la propria affidabilità etica e scientifica e di evidenziare i tratti di eccellenza presenti al suo

interno. Le energie impiegate in questa direzione costituiscono inoltre un investimento volto ad

intervenire con maggiore incisività nell’attuale, vivace dibattito culturale sulle modalità da

adottare per formulare giudizi sulla qualità della produzione scientifica basati su parametri

numerico/statistici che garantiscano trasparenza e omogeneità. Nell’ambito di questo dibattito,

una notevole attenzione è stata rivolta alla definizione di un mix valutativo di informed peer

review e indicatori bibliometrici per la valutazione delle strutture di ricerca. L’area della Chimica

ha partecipato a questo dibattito pervenendo a risultati ampiamente condivisi, i cui pochi

elementi di difficoltà in termini di operatività e di affidabilità sono stati tenuti ben presenti nella

redazione di questo documento, che è frutto del lavoro collegiale dei membri del GEV03, del

segretario del GEV03 e dei tanti revisori coinvolti nella valutazione. Inoltre il confronto costante

con i coordinatori di altri GEV (soprattutto 04, 05, 06) e con il coordinatore della VQR ha

rappresentato un valore aggiunto importantissimo.

Desideriamo pertanto ringraziare sentitamente tutte queste persone, nonché i numerosi altri

colleghi che hanno fornito suggerimenti importantissimi per aver reso possibile la realizzazione

dell’obiettivo ambizioso di una valutazione articolata e realistica delle strutture di ricerca attive

4

in Italia nel settore della chimica. Commenti generali, criticità e suggerimenti saranno esposti in

diverse parti del documento. Qui vogliamo porre l’accento soltanto su alcuni aspetti

caratterizzanti la nostra comunità.

L’area 03-Chimica comprende le tematiche concernenti la sintesi, la caratterizzazione e la

trasformazione di sostanze chimiche di diversi gradi di complessità e origine, nonché la

modellizzazione di sistemi e processi molecolari e supra-molecolari. Le metodologie di studio

sono principalmente sperimentali, ma anche sistematiche e computazionali. I prodotti dell’area

03 presentano inoltre una forte connotazione multidisciplinare e sono il portato di ricercatori che

appartengono sia a settori diversi della stessa area sia ad aree diverse. In particolare, i temi di

ricerca della chimica sono talvolta parzialmente sovrapponibili soprattutto con quelli dell’area

02, 04, 05, 07, 09. Tuttavia, mentre le interazioni con i GEV 04, 05 e 06 (Geologia, Biologia e

Medicina) sono stati costanti, le interazioni con i GEV 02 (Fisica) e 07 (Scienze Agrarie e

Veterinarie) sono state abbastanza limitate e quelle con il GEV 09 (che comprende l’Ingegneria

Chimica, che partecipa assieme alla chimica a un Dipartimento del CNR e a due Consorzi

Interuniversitari) praticamente inesistenti.

Dal punto di vista della collocazione editoriale dei prodotti, l’area 03 è caratterizzata da una netta

prevalenza di articoli su riviste scientifiche internazionali censite dalle maggiori banche dati. Il

primo aspetto importante dell’area 03 è la trasversalità dell’approccio molecolare (quindi

chimico) a moltissimi settori della ricerca scientifica e della tecnologica contemporanea. Questa

pervasività della chimica rischia, a volte, di farla apparire un settore di servizio e di appannarne

la ‘governance’ autonoma. L’autonomia e la centralità del pensiero chimico sono, comunque,

indiscutibili e risiedono proprio nelle sue radici più lontane, di scienza fondamentale basata sullo

studio e sulla comprensione delle proprietà delle singole molecole. La chimica è inizio

imprescindibile di qualsiasi nuovo sviluppo: dalla biologia ai materiali la chimica è guida per la

comprensione e la progettazione di sistemi complessi.

Un altro aspetto importante è la compattezza e l’elevato valore medio dei ricercatori chimici:

come sarà evidente nell’analisi puntuale dei risultati, il numero di ricercatori scarsamente attivi è

particolarmente basso nel settore chimico. Inoltre l’interazione tra accademia, enti di ricerca e

industria è particolarmente forte e storicamente matura. Quest’aspetto è solo in parte evidenziato

dalla presente valutazione poiché la maggioranza dei ricercatori ha preferito presentare

pubblicazioni su riviste internazionali piuttosto che brevetti, probabilmente ritenendo che la

valutazione delle pubblicazioni avvenisse con criteri più certi e definiti: ciò ha condotto tuttavia a

una sottovalutazione della produzione brevettuale dei chimici italiani.

5

Infine, la costante riduzione dei finanziamenti alla ricerca di base negli ultimi anni, la difficoltà

di ottenere finanziamenti per grandi apparecchiature e lo spostamento del finanziamento dal

livello nazionale a quello regionale, ha condotto alla forte contrazione delle dimensioni medie

dei gruppi di ricerca e alla netta prevalenza di progetti di impatto immediato rispetto a quelli di

medio e lungo periodo. A nostro avviso, l’unica strada praticabile per recuperare competitività e

visione strategica è quella di costituire reti di ricerca flessibili delocalizzate sul territorio e di

incanalare parte del finanziamento pubblico al finanziamento delle migliori di queste reti. Ciò

richiede che, accanto alla valutazione d’intere istituzioni, siano valorizzati e premiati anche

singoli gruppi eccellenti, stimolandone il coordinamento in reti flessibili e temporanee (di

scopo). Anche se questi aspetti esulano, almeno in parte, dallo scopo specifico della VQR, ci

sembra che essi vadano tenuti in debito conto per il futuro.

1.1 Il Gruppo degli Esperti della Valutazione (GEV)

Il GEV dell’Area 03 (GEV03), ha come riferimento 12 settori scientifico disciplinari (SSD)

(Tabella 1.1) ed è composto da 22 esperti della valutazione organizzati in 3 Sub-GEV (Tabella

1.2). Forse un organizzazione in 4 Sub-GEV (separando la componente organica da quella

farmaceutica) corrispondenti ai 4 macrosettori di riferimento della chimica (vedi sezione 1.3)

sarebbe stata più appropriata e dovrebbe essere presa in considerazione per il futuro, ma, anche

grazie allo sforzo costante di tutti i membri del GEV03, la scelta fatta non ha condizionato in

alcun modo i risultati e la competenza dei revisori scelti.

SSD Denominazione

CHIM01 CHIMICA ANALITICA

CHIM02 CHIMICA FISICA

CHIM03 CHIMICA GENERALE E INORGANICA

CHIM04 CHIMICA INDUSTRIALE

CHIM05

SCIENZA E TECNOLOGIA DEI MATERIALI

POLIMERICI

CHIM06 CHIMICA ORGANICA

CHIM07 FONDAMENTI CHIMICI DELLE TECNOLOGIE

CHIM08 CHIMICA FARMACEUTICA

CHIM09 FARMACEUTICO TECNOLOGICO APPLICATIVO

CHIM10 CHIMICA DEGLI ALIMENTI

CHIM11

CHIMICA E BIOTECNOLOGIA DELLE

FERMENTAZIONI

CHIM12 CHIMICA DELL'AMBIENTE E DEI BENI CULTURALI

Tabella 1.1: Settori scientifico-disciplinari (SSD) dell'Area 03 (SCIENZE CHIMICHE)

6

SubGEV SSD Componenti Ente di affiliazione # prodotti gestiti

Luisa Torsi (COORDINATORE) Universita' di Bari 296

Sub-GEV03-01

Vincenzo Barone (PRESIDENTE GEV03) Scuola Normale Superiore 220

Angela Agostiano Universita' degli studi di Bari 315

CHIM01 Perla Colombini Università degli studi di Pisa 315

CHIM02 Elena Ibáňez

Istituto Scienza dei Materiali di

Madrid 243

CHIM12 Stefania Milioto Università degli studi di Palermo 142

Aldo Laganà

Università degli studi di Roma "La

Sapienza" 322

Antonio Tilocca Università degli studi di Londra 251

Francesco Zerbetto Università degli studi di Bologna 214

Sub-GEV03-02

Gianfranco Pacchioni

(COORDINATORE) Università degli studi di Milano 320

CHIM03 Lucia Banci Università degli studi di Firenze 256

CHIM04 Gabriele Centi Università degli studi di Messina 564

CHIM05 Gaetano Guerra Università degli studi di Salerno 530

CHIM07 Roberto Purrello Università degli studidi Catania 239

Christian Serre Università degli studi di Versailles 270

Sub-GEV03-03

Maurizio Prato (COORDINATORE) Università degli studi di Trieste 1128

CHIM06 Horst Kessler (dimesso il 15/10/2012) Università degli studi di Monaco 0

CHIM08 Maurizio Botta Università degli studi di Siena 506

CHIM09 Alberto Brandi Università degli studi di Firenze 876

CHIM10 Fernando Albericio

Istituto di ricerca Biomedica di

Barcellona 291

CHIM11 Henriette Molinari Università degli studi di Verona 921

Ferdinando Pizzo Università degli studi di Perugia 1001

Patrizia Santi Università degli studi di Parma 221

Leonardo Scapozza Università degli studi di Ginevra 32

Tabella 1.2: Composizione del Gruppo di Esperti della Valutazione - Area 03 (GEV3). Organizzazione del GEV03 in

sub-GEV e relativi SSD. Distribuzione degli EV3 nei diversi SSD, nominativi degli EV03, enti di affiliazione e numero

di prodotti gestiti. (COORDINATORE) indica l'EV03 che ha coordinato il sub-GEV. I nominativi degli EV03 sono

ordinati in ordine alfabetico all'interno del sub-GEV di appartenenza. La colonna prodotti gestiti indica la

distribuzione dei prodotti della ricerca assegnati ad ogni EV03. Si fa presente che, tranne che in alcuni casi

particolari, ogni prodotto è stato assegnato a uno o due EV03 all'interno dello stesso sub-GEV.

1.2 I tempi

In linea con gli obiettivi generali della VQR, il lavoro del GEV03 è stato mirato

all’individuazione di criteri che potessero fornire un panorama qualitativo della ricerca chimica

7

in Italia, riconoscendo nella valutazione uno strumento potenzialmente in grado di introdurre

un’importante e positiva innovazione per favorire lo sviluppo organico delle strutture di ricerca

che a tale valutazione si sono sottoposte.

L’esperienza della VQR si è sviluppata attraverso varie fasi, scandite da riunioni parziali o

plenarie dei membri del GEV (vedi Tabella 1.3), e discusse a più riprese nel seguito per

evidenziare le procedure seguite e analizzarle criticamente. Il principale scopo di questa analisi è

quello di fornire un documento utile a illustrare i risultati e individuare i margini di

miglioramento, con l’auspicio che l’esperienza maturata in questo esercizio di valutazione possa

essere raccolta e valorizzata in una sua futura riproposizione.

Data Sede Descrizione

25/04/2012 SCUOLA NORMALE

SUPERIORE DI PISA Prima Riunione plenaria

12/07/2017 CASPUR Riunione Coordinatori

22/10/2012 CASPUR Riunione Coordinatori

09/04/2013 UNIV." LA SAPIENZA" DI

ROMA

Seconda Riunione

plenaria

Tabella 1.3: Elenco delle riunioni del GEV03

Fase 1- Preparazione del documento riguardante i criteri per la valutazione dei prodotti della

ricerca.

La fase preliminare del lavoro ha riguardato un’analisi, condotta principalmente per via

telematica, dell’importanza dei parametri bibliometrici e della suddivisione in classi di merito dei

prodotti. La discussione ha portato a individuare la strategia dell’informed peer review, un mix di

criteri bibliometrici e di revisioni peer, come la più idonea ad affrontare le problematiche legate

alla specificità dell’area. L’algoritmo da utilizzare per la quantificazione degli indicatori

bibliometrici è stato elaborato anche con l’accordo tra GEV differenti che presentavano analoghe

problematiche scientifiche e ha alla fine tenuto conto in misura diversa, a secondo dell’anno di

pubblicazione dell’articolo, sia del numero di citazioni che dell’Impact Factor della rivista

ospitante. La discussione ha portato inoltre a considerare di maggior rilevanza i prodotti originali

rispetto alle review, sebbene gli IF suggerissero una valutazione diversa. Questa fase, pur

attraverso un confronto a volte vivace sulle procedure da adottare, ha prodotto alla fine dei criteri

che, pur mantenendo la specificità del GEV03, sono stati largamente condivisi dalle comunità

scientifiche che hanno informazioni bibliometriche affidabili e consolidate.

8

La prima riunione del 25 aprile 2012, dedicata definire le regole di lavoro, è stata efficace e

operativa poiché lo scopo della valutazione è stato ben spiegato ed è stato molto chiaro a tutti

come questo esercizio di valutazione fosse finalizzato non a individuare i migliori ricercatori

italiani, bensì a valutare le strutture, evidenziando se una certa istituzione avesse una produzione

sopra o sotto la media e individuando aree d’inattività.

In questa fase a ogni membro del GEV03 è stato chiesto di preparare una lista di possibili

revisori completa di indicazioni riguardanti area di competenza e h index: a tali revisori è stato

chiesto in un secondo momento un assenso formale alla partecipazione alla valutazione. Questa

procedura si è rivelata piuttosto complessa e ha originato una lista di revisori a volte non

esaustiva delle competenze richieste.

Sono stata inoltre definite le schede di valutazione da inviare ai revisori per i diversi prodotti. La

scheda di valutazione delle pubblicazioni è stata basata sui criteri di qualità,

originalità/innovazione e internazionalizzazione/impatto. Nel caso dei brevetti si sono adottati,

invece, i criteri di trasferibilità, sviluppo tecnologico e impatto socio-economico. In entrambi i

casi, per ognuno dei tre criteri era possibile attribuire un punteggio compreso tra zero e nove.

L’assegnazione alle diverse classi di merito è avvenuta sulla base della seguente tabella, con la

restrizione, per i brevetti, che le classi E e B erano accessibili solo a brevetti internazionali e/o

che fossero già stati acquisiti da un’industria.

Punteggio Totale Classe di Merito

23-27 Eccellente

18-22 Buona

15-17 Accettabile

3-14 Limitata

Fase 2 – Valutazione

La buona piattaforma di lavoro che il CINECA ha approntato è stata resa disponibile con un

certo ritardo che ha, di fatto, rallentato tutta l’attività di individuazione dei revisori, che non è

stata semplice per una serie di ragioni:

La sola appartenenza SSD/ERC non definisce le competenze in modo univoco, in quanto

all’interno di ogni SSD/ERC la multidisciplinarietà è molto estesa, quindi occorre fare

uso delle parole chiave. Le parole chiave utilizzate per definire l’area di competenza dei

singoli revisori talvolta in inglese, talvolta in italiano, sono state piuttosto difficili da

9

consultare. Questo ha comportato seri disguidi, poiché molto spesso gli articoli

ricevevano due o tre rifiuti con la dicitura, “non possiedo le competenze necessarie”,

anche se inviati a revisori apparentemente idonei sulla base delle poche parole chiave,

oltre che dello SSD e del sottogruppo ERC.

La mancanza di un limite al numero massimo di articoli da assegnare a uno stesso

revisore (dell’ordine di 5) ha comportato che anche i revisori che non avevano posto in

partenza un limite alla propria disponibilità hanno a volte autonomamente limitato il

numero di prodotti che hanno accettato di valutare. Questo è stato particolarmente vero

per i valutatori stranieri.

Sono stati inoltre troppo lunghi i tempi a disposizione dei revisori esterni per accettare o

rifiutare un prodotto. La difficoltà dell’organizzazione iniziale e i lunghi tempi necessari

per ricevere un commento dai revisori hanno alla fine costretto i membri dei sub-GEV a

condurre in prima persona un numero elevato di valutazioni e in tempi relativamente

brevi. Questo ha in parte vanificato lo scopo iniziale di valutare la consistenza tra peer

review e valutazione tramite puri indicatori bibliometrici. E’ stato molto positivo il

ricorso a gruppi di consenso per risolvere i casi di conflitti o incertezze nella valutazione.

Fase finale

Sebbene questa nuova esperienza di valutazione abbia comportato delle ovvie difficoltà, la fase

finale di discussione sull’esito complessivo della procedura, allo scopo di “suggerire” dei

comportamenti alla comunità scientifica, è stata oggettivamente compressa per il dilatarsi dei

tempi delle varie fasi intermedie. E’ auspicabile quindi che il prossimo esercizio di valutazione

veda un iter più certo, determinato in anticipo con chiarezza proprio sulla base dell’esperienza

pregressa.

In questa fase è stato comunque possibile analizzare nel complesso le problematiche connesse

alla valutazione e avanzare alcune proposte:

la scheda valutativa con classifica del numero di debolezze e punti di forza è sembrata

scarsamente efficace. Si ritiene che una scheda di valutazione semplificata con i

parametri di valutazione, riguardanti solo impatto, originalità e innovazione sarebbe più

incisiva.

10

I lavori scientifici potrebbero essere valutati sulla base dei soli indicatori bibliometrici,

raggruppando le riviste in 4 categorie.

L’uso appropriato dei dati citazionali andrebbe approfondito riducendo al minimo il

numero delle valutazioni peer necessarie. Ad esempio, lavori pubblicati su giornali con

IF>10, potrebbero comunque essere collocati in classe E (eccellente) anche se con poche

citazioni, ipotizzando che si tratti di lavori appartenenti a un’area molto specialistica.

Analogamente lavori su riviste di classe L (Limitata) con un numero molto elevato di

citazioni (dell’ordine di 300), potrebbero essere ricollocati in classe E, perché

evidentemente si tratta di prodotti ampiamente apprezzati dalla comunità scientifica.

I risultati delle valutazioni svolte nel Regno Unito hanno messo in evidenza come “Il

comportamento citazionale non sia standardizzabile, in altre parole vari tra le discipline e

tenda a penalizzare linee di ricerca, quindi autori che esplorano approcci innovativi o non

alla moda”. Si ritiene che questa problematica tecnica andrebbe seriamente affrontata nei

futuri esercizi di valutazione.

1.3 Descrizione dell’area

L’Area 03 è suddivisa in 12 SSD ed è presente in 51 Università, nelle quali è rappresentata in

113 Dipartimenti. Un lungo e articolato confronto all’interno della comunità ha condotto, in

accordo col CUN, a proporre l’accorpamento dei12 SSD nei seguenti 4 macro-settori.

Analitico-Chimico-Fisico (CHIM01 + CHIM02 + CHIM12)

Inorganico-Tecnologico (CHIM03 + CHIM07)

Organico-Industriale (CHIM04 + CHIM05 + CHIM06)

Farmaceutico, tecnologico-alimentare (CHIM08 + CHIM09 + CHIM10 + CHIM11)

Tali macro-settori potrebbero essere preferibili agli SSD per un’analisi articolata dei dati, poiché

più rispondenti allo sviluppo attuale della chimica e caratterizzati da dimensioni omogenee.

L’Area Chimica è normalmente caratterizzata da gruppi medio-piccoli composti di 2-5 unità di

personale strutturato. La dimensione media dei gruppi ha subito negli anni una progressiva

diminuzione a causa della mancanza di nuove assunzioni. Il crescente invecchiamento della

struttura di ricerca Italiana comporta diverse distorsioni che nel futuro saranno amplificate con

conseguenze imprevedibili. Ad esempio, la mancanza di sovrapposizione tra le generazioni che

si avvicendano renderà quasi impossibile il trasferimento completo di competenze tra i

ricercatori in uscita e quelli in entrata. Questa scollatura generazionale comporterà una parziale

perdita di conoscenze e un rallentamento nella crescita culturale (con conseguenti, gravi ricadute

11

sulla competitività della ricerca in un contesto internazionale). Inoltre, la crescente carenza di

personale strutturato comporta un crescente aggravio di compiti di ricerca e didattici che non

consente una programmazione efficace delle attività di piccoli gruppi.

Nonostante questa grave situazione, si riscontra un notevole impatto a livello internazionale dei

ricercatori dell’Area 03. Come si può evincere dalla tabella 2.10, degli 11608 prodotti conferiti

una media del 55%, circa è in classe E, e circa il 25% si colloca in classe B; i prodotti penalizzati

rappresentano (nella media) circa il 3%. Inoltre, i ricercatori dell’Area 03 hanno conferito più

del 97% dei prodotti attesi. Da questa prima analisi del quadro nazionale risulta che l’Area 03 è

composta di un numero elevato di ricercatori attivi che si esprimono a un ottimo livello

qualitativo e quantitativo.

L’eccessiva frammentazione (anche territoriale) dei gruppi eccellenti non consente però, una

programmazione ottimale dell’attività di ricerca soprattutto per progetti che richiedano tempi

medio-lunghi e risorse rilevanti. A questo scopo sarebbe auspicabile la creazione non di Centri,

ma di Reti di Eccellenza. Queste innovative realtà organizzative consentirebbero ai ricercatori

coinvolti di continuare il proprio lavoro nelle sedi di appartenenza, contribuendo a mantenere

equamente ripartito il livello culturale in Italia, fornendo, al contempo, ai ricercatori di punta una

struttura organizzativa a basso impatto economico, poiché le Reti non richiederebbero nuove

infrastrutture.

2. La Valutazione dei “prodotti di ricerca”

2.1 I criteri di valutazione

Facendo seguito ai criteri stabiliti dal GEV03 per la VQR (Appendice B), la valutazione è

consistita di un mix fra valutazione bibliometrica, con l’utilizzo di banche dati Web of Science di

Thomson Reuters (WoS) e/o Scopus di Elsevier B.V. (Scopus), e valutazione mediante peer

review. Per quanto riguarda la scelta dei prodotti, il GEV03 aveva deliberato modalità di

valutazione differenziate in base alla tipologia di prodotti prevista dal Bando VQR (sezione 2.3

del Bando ANVUR VQR 2004-2010). Tutti gli articoli su riviste indicizzate (tipologia a) sono

stati divisi fra i membri del GEV sulla base del Settore Scientifico Disciplinare (una media di

800-900 prodotti ciascuno). Ogni membro del GEV ha poi inviato ai revisori per la peer review i

suoi prodotti appartenenti alla quota 10% individuata tramite un algoritmo di campionamento

casuale stratificato studiato dal gruppo di lavoro dell’ANVUR (Appendice A), nonché i suoi

prodotti non assegnati univocamente a una delle classi di merito (E, B, A e L) in base all’analisi

bibliometrica e alle matrici di riferimento riportate nel documento sui criteri di valutazione del

12

GEV03 (Appendice B). E’ da notare che le varie classi sono indicate nel documento sui criteri di

valutazione con A, B, C, D, poiché la denominazione finale è stata adottata solo in un secondo

momento); inoltre i prodotti non assegnabili unicamente ad una classe di merito sono lì indicati

con IR. I libri, capitoli di libri e atti di congressi (tipologia b), i brevetti (tipologia c), e il

software (tipologia d), per cui è impossibile una valutazione bibliometrica, sono stati assegnati,

per la valutazione esclusivamente peer review, a membri del GEV riuniti in sottocommissioni.

2.2 Il processo di valutazione

L’analisi bibliometrica del GEV03 si è basata sui dati forniti dal Web of Science ed ha utilizzato

un algoritmo basato su due indici: il numero di citazione e l’impact factor (IF) delle riviste (preso

dal Journal Citation Reports di Thomson Reuters). Entrambi gli indici sono stati pesati rispetto

alla data di pubblicazione del singolo contributo. Questa scelta è risultata valida perché ha

consentito di collocare in classi di merito elevate quei prodotti della ricerca che, pur se pubblicati

su riviste con IF non elevato, sono stati ritenuti dalla comunità scientifica un valido riferimento e

quindi molto citati. In questa maniera, si è tenuto conto del giudizio della comunità scientifica

per ottenere una valutazione dei lavori specifica e ponderata. D’altra parte, per i lavori più

recenti è stato dato un peso maggiore al ranking della rivista piuttosto che al numero di citazioni,

giacché la storia citazionale di questi prodotti non è ancora consolidata. Questa scelta ha

comportato l’uso di due diverse matrici di corrispondenza (IF-numero di citazioni) una per il

periodo 2004-08 e l’altra per il biennio 2009-2010.

Nell’auspicabile evenienza che la VQR abbia d’ora in poi una cadenza almeno quadriennale,

questa differenziazione, non avrebbe più motivo di esistere. Comunque, in questo caso, si

potrebbe correre il rischio di pesare eccessivamente l’IF e dare poca rilevanza al numero di

citazioni. Così come fatto per questa edizione della VQR, è, quindi, consigliabile fare delle

simulazioni per continuare a “premiare” le pubblicazioni con un numero rilevante di citazioni.

L’analisi dei prodotti ha richiesto anche un processo di disambiguazione e l’assegnazione, per i

lavori pubblicati su riviste generaliste, di una Subject Category (SC). Entrambi questi passaggi

sono avvenuti senza particolari problemi.

La valutazione mediante peer review ha utilizzato una lista di revisori fornita dall’ANVUR,

costituita, anche in conformità a indicazioni da parte di membri del GEV, considerando

ricercatori italiani e stranieri con alta qualificazione scientifica. Questa lista non sempre si è

rivelata sufficiente a individuare gli esperti più adatti a valutare i diversi prodotti. La valutazione

peer review del 10% dei prodotti campionati casualmente, inviati esclusivamente a revisori

esterni, (vedi Appendice A per una discussione più dettagliata) ha mostrato una correlazione con

la valutazione bibliometrica analoga a quella tra i giudizi dei due revisori esterni e, come per tutti

13

i prodotti affidati a revisori, un voto medio più basso dei revisori rispetto a quello derivante dai

parametri bibliometrici. In un secondo momento, anche per i ritardi nel processo di esame da

parte di alcuni revisori esterni, è stato deciso di utilizzare i membri del GEV anche come revisori

per la peer review. Sebbene questa procedura sia perfettamente compatibile con i criteri stabiliti

dal GEV03, sarebbe auspicabile che, in un futuro progetto di valutazione, sia distinto il ruolo di

scelta dei revisori e di supervisione, da parte dei membri del GEV, dal ruolo di valutatore nella

peer review.

Infine, i prodotti per i quali si sono riscontrati giudizi diversi da parte dei valutatori, sono passati

al vaglio dei gruppi di consenso. Queste pubblicazioni sono state divise in due classi, in

dipendenza della differenza tra le valutazioni dei revisori. Quando la discordanza era di una sola

classe (casi gialli) è stata assegnata in automatico la classe derivante dalla media dei punteggi

forniti dai due valutatori al prodotto. Nel caso di obiezione da parte del membro GEV

responsabile del prodotto, si è costituito un gruppo di consenso di tre membri del GEV che, a

maggioranza, ha assegnato la classe definitiva. Quando la discordanza era di più di una classe

(casi rossi) si è costituito direttamente un gruppo di consenso di tre membri del GEV che, a

maggioranza, ha assegnato la classe definitiva. Comunque, anche in questo caso si è arrivati

agevolmente a una condivisione del giudizio finale.

La valutazione bibliometrica VQR 2004-2010 segue temporalmente la valutazione CIVR,

ultimata nel 2004 (ma mai pienamente applicata). A differenza di quanto avvenuto per il CIVR, è

auspicabile che la VQR, altre a trovare una sua applicazione nella ripartizione delle risorse ai

diversi livelli organizzativi, sia ripetuta con cadenza per lo meno quadriennale per tracciare negli

anni i risultati delle varie strutture e aiutarle ad attuare le scelte correttive necessarie per avere un

comportamento “virtuoso”. Si ritiene, inoltre, giusto che la valutazione tenga conto delle risorse

che arrivano alle varie istituzioni, poiché la capacità di attirare risorse finanziarie non dipende

solamente dalla capacità dei ricercatori ma dipende anche da situazioni specifiche, come la

ricchezza della regione, l’esistenza di fondazioni bancarie locali e altro.

2.2.1 Le statistiche

La Tabella 2.1 riporta il numero di prodotti attesi e di quelli effettivamente conferiti sia dai

ricercatori appartenenti all’area, che da quelli di aree diverse. In termini generali, la percentuale

di prodotti conferiti rispetto a quelli attesi (97.3%) può essere considerata soddisfacente e molto

simile per i vari SSD. Il numero di prodotti conferiti da ricercatori di altre aree è rilevante,

superando il 10% dei prodotti provenienti dall’interno dell’area.

14

La Tabella 2.2 riporta il numero di prodotti conferiti al GEV03 e valutati dai diversi GEV: è

particolarmente rilevante il numero di prodotti valutati dai GEV 02, 05 e 09. La Tabella 2.3

contiene la tipologia di prodotti conferiti anche in funzione dell’anno di pubblicazione: la

predominanza di articoli su rivista è schiacciante e sostanzialmente costante negli anni. E’

particolarmente ridotto, rispetto alla produzione italiana, il numero di brevetti selezionati: alcune

considerazioni su quest’aspetto sono già state fatte in un paragrafo precedente e saranno riprese

nel seguito. La Tabella 2.4 fornisce la stessa informazione della tabella precedente ma suddivisa

per SSD: non si evidenziano aspetti particolari e il comportamento dei vari SSD è molto

omogeneo. La Tabella 2.5 riporta la lingua dei prodotti conferiti: la predominanza della lingua

inglese è, come ampiamente prevedibile, schiacciante.

# Prodotti

attesi

# Prodotti conferiti da ricercatori dell'area # Prodotti conferiti

da ricercatori di

altre aree al GEV di cui sottomessi al

GEV

di cui sottomessi ad

altri GEV

11.933 10.577 1.031 1.235

SSD # prodotti conferiti # prodotti attesi

prodotti

conferiti/prodotti

attesi x 100

CHIM/01 699 713 98,03646851

CHIM/02 1076 1088 98,89705658

CHIM/03 1422 1448 98,204422

CHIM/04 364 368 98,91304016

CHIM/05 5 5 100

CHIM/06 1613 1635 98,6544342

CHIM/07 472 482 97,92530823

CHIM/08 1168 1194 97,82244873

CHIM/09 547 551 99,27404785

CHIM/10 173 173 100

CHIM/11 96 96 100

CHIM/12 150 156 96,15384674

ENTI e

CONSORZI 3823 4024 95,00496674

Totale 11608 11933 97,27645874

Tabella 2.1: Prodotti attesi e conferiti all'Area 03. Vengono anche mostrati i dati disaggregati per tipologia di Struttura e

SSD, e la percentuale di prodotti conferiti sugli attesi.

15

GEV # prodotti

valutati

%

prodotti

valutati

1 6 0,05

2 224 1,93

3 10577 91,12

4 25 0,22

5 365 3,14

6 62 0,53

7 62 0,53

8 3 0,03

9 265 2,28

10 5 0,04

11 4 0,03

13 4 0,03

14 6 0,05

Totale 11608 100,00

Tabella 2.2: Numero e percentuale di prodotti di ricerca di soggetti dell’area 03, suddivisi per area di valutazione. Per GEV si

intende il GEV che ha valutato i prodotti.

Tipologia prodotti 2004 2005 2006 2007 2008 2009 2010 Totale

Abstract in Atti di convegno 2 1 3 2 3 11

Altro 1 1

Articolo su rivista 1457 1633 1559 1566 1662 1828 1723 11428

Brevetto 4 2 7 1 4 3 45

Contributo in Atti di convegno 3 7 5 4 14 6 7 46

Contributo in volume (Capitolo o Saggio) 5 6 4 5 8 11 6 45

Curatela 2 1 1 1 5

Manufatto 1 1

Monografia o trattato scientifico 3 4 3 6 5 3 24

Software 1 1 2

(vuoto)

Totale 1470 1654 1575 1587 1695 1857 1746 11608

Tabella 2.3: Prodotti conferiti all'Area 03 suddivisi per tipologia e per anno di pubblicazione.

16

SSD

%

Articolo

su rivista

% Atto di

convegno

%

Contributo

in volume

%

Brevetto

%

Monografia % Altro

# totale

prodotti

CHIM/01 98,71 0,00 0,14 0,14 0,29 0,72 699,00

CHIM/02 99,26 0,19 0,28 0,09 0,09 0,09 1076,00

CHIM/03 99,09 0,21 0,42 0,21 0,07 0,00 1422,00

CHIM/04 97,80 0,27 0,55 0,00 1,10 0,27 364,00

CHIM/05 100,00 0,00 0,00 0,00 0,00 0,00 5,00

CHIM/06 99,38 0,00 0,12 0,31 0,19 0,00 1613,00

CHIM/07 98,31 1,06 0,42 0,21 0,00 0,00 472,00

CHIM/08 99,14 0,00 0,09 0,51 0,26 0,00 1168,00

CHIM/09 97,07 0,91 0,37 1,10 0,18 0,37 547,00

CHIM/10 98,27 1,73 0,00 0,00 0,00 0,00 173,00

CHIM/11 98,96 0,00 1,04 0,00 0,00 0,00 96,00

CHIM/12 90,00 0,00 4,67 0,00 5,33 0,00 150,00

ENTI e

CONSORZI 97,93 0,71 0,47 0,58 0,03 0,29 3823,00

Totale 98,44934 0,39627841 0,387663662 0,387664 0,20675395 0,172295 11608

Tabella 2.4: Prodotti conferiti all'Area 03 dalle indicate strutture, suddivisi per tipologia e anno di pubblicazione. Gli SSD si

riferiscono ai prodotti conferiti dalle Università.

% Inglese %

Italiano

% Altra

lingua

% Lingua non

disponibile

# totale

prodotti

88,37 0,75 0,09 10,79 11608,00

Tabella 2.5: Lingua dei prodotti conferiti all'Area 03.

La Tabella 2.6 mostra il numero di prodotti valutati secondo le diverse modalità: appare evidente

che la percentuale di prodotti con doppia valutazione (22.8%) è sicuramente sufficiente a

permettere un confronto statisticamente significativo. Inoltre, come si evince dalla Tabella 2.7, il

contributo dei revisori stranieri è stato sicuramente rilevante ed equamente distribuito tra i vari

SSD (vedi Tabella 2.8). Un altro dato importante (vedi Tabella 2.9) è che il numero di revisioni

inevase è stato molto limitato (circa 7%) come pure il numero di revisioni rifiutate (circa 10%):

in quest’ultimo caso il rifiuto è stato causato, nella maggior parte dei casi, da incompetenza o

conflitto di interessi, mentre la motivazione ‘mancanza di tempo’ è stata abbastanza marginale

(solo 119 casi).

17

Modalità di valutazione dei prodotti

in peer

review

in

bibliometria con doppia valutazione

24,92 97,81 22,84

Tabella 2.6: Modalità di valutazione e numero di prodotti valutati.

3 revisori italiani

revisori non

Italiani %ITA %STR

1-5 revisioni 416,00 100,00 0,81 0,19

6-10 revisioni 86,00 16,00 0,84 0,16

11-15 revisioni 21,00 3,00 0,88 0,13

16-20 revisioni 5,00 0,00 1,00 0,00

21-25 revisioni 0,00 0,00 0,00 0,00

>25 revisioni 0,00 1,00 0,00 1,00

528,00 120,00

Tabella 2.7: Numero di revisioni effettuate da revisori italiani e stranieri.

SSD # Revisori

Italiani

# Revisori

Non

Italiani

%ITA %STR

#

revisioni

Italiani

#

revisioni

non

Italiani

%ITA %STR

CHIM/01 67,00 22,00 0,75 0,25 135,00 67,00 0,67 0,33

CHIM/02 182,00 50,00 0,78 0,22 414,00 85,00 0,83 0,17

CHIM/03 144,00 41,00 0,78 0,22 348,00 95,00 0,79 0,21

CHIM/04 34,00 6,00 0,85 0,15 42,00 6,00 0,88 0,13

CHIM/05 28,00 7,00 0,80 0,20 54,00 9,00 0,86 0,14

CHIM/06 170,00 30,00 0,85 0,15 509,00 44,00 0,92 0,08

CHIM/07 49,00 6,00 0,89 0,11 55,00 6,00 0,90 0,10

CHIM/08 73,00 7,00 0,91 0,09 306,00 13,00 0,96 0,04

CHIM/09 26,00 11,00 0,70 0,30 46,00 22,00 0,68 0,32

CHIM/10 21,00 6,00 0,78 0,22 34,00 12,00 0,74 0,26

CHIM/11 12,00 2,00 0,86 0,14 15,00 5,00 0,75 0,25

CHIM/12 36,00 12,00 0,75 0,25 71,00 33,00 0,68 0,32

2029,00 397,00 0,84 0,16

Tabella 2.8: Numero di Revisori per SSD. Lo stesso revisore è contato più volte se ha valutato prodotti di diversi sub-GEV.

18

Revisioni Rifiutate

Revisioni

Totali

Revisioni

effettuate

Revisioni

inevase

per non

competanza

Conflitto

di

interesse

Mancanza

di Tempo Lingua

Revisioni

effettuate da

Italiani

2556 2029 157 192 81 97 0

Revisioni

effettuate da

Stranieri

531 397 60 48 4 22 0

Totale 3087 2426 217 240 85 119 0

Tabella 2.9: Revisioni assegnate, effettuate e rifiutate per nazionalità del revisore.

2.3 I risultati della valutazione

La Tabella 2.10 riporta i punteggi ottenuti dai prodotti dell’area 03. E’ abbastanza evidente che il

quadro fornito dall’analisi bibliometrica è significativamente diverso (e migliore) rispetto a

quello restituito dalla peer review. Ovviamente potrebbero esserci distorsioni dovute alla scelta

dei prodotti da inviare in peer review (indicati dalle Strutture, ecc.) per cui un’analisi più

significativa è quella fornita in Appendice A, che riguarda il campione del 10% scelto per

sorteggio. La Tabella 2.11 (suddivisione per tipologia di struttura e SSD) conferma ancora una

volta la compattezza della chimica italiana, poiché i valori medi sono molto simili per tutti i casi

considerati. Per quanto riguarda la valutazione per tipologia di prodotto (Tabella 2.12) è

abbastanza evidente che gli articoli su rivista hanno un voto medio abbastanza elevato e una

concentrazione nelle classi di merito E (Eccellente) e B (Buona) con un totale attorno all’84%,

mentre il numero di prodotti di valore limitato è inferiore al 10%. I brevetti hanno una

valutazione media significativamente inferiore anche se ancora accettabile (0.66), mentre tutte le

altre tipologie di prodotti, come del resto atteso in base al documento dei criteri del GEV03,

hanno valutazioni limitate.

19

valutazione

bibliometrica

somma

punteggi

(v)

# prodotti

conferiti

non

penalizzati

(n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti L

peer review 78,20 253,00 0,31 5,93 17,39 22,13 54,55

bibliometria 9324,00 11302,00 0,82 57,87 26,28 7,20 8,64

Totale 9402,2 11555 0,81 56,74 26,08 7,53 9,65

Tabella 2.10: Punteggi ottenuti dai prodotti dell'Area 03. Dalla tabella sono esclusi i prodotti penalizzati, ovvero i prodotti

mancanti (cioè attesi e non sottomessi), i prodotti presentati più volte dalla stessa struttura, i prodotti presentati più volte dallo

stesso soggetto valutato a differenti strutture (es. Università ed Ente di Ricerca) e i prodotti "non valutabili" e casi accertati di

plagio o frode, così come previsto dal bando VQR del 7 Novembre 2011. Per “somma punteggi (v)” si intende la somma dei

punteggi dei singoli prodotti valutati mediante peer review o bibliometria. (n): numero prodotti conferiti (non penalizzati); Il

voto medio (primo indicatore "I") indica il rapporto fra la valutazione complessiva dei prodotti (v) e il numero di prodotti

conferiti (non penalizzati) (n). Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle quattro classi di merito

(Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) per modalità di valutazione (peer review o bibliometria).

SSD % Inglese %

Italiano

% Altra

lingua

% Lingua

non

disponibile

# totale

prodotti

CHIM/01 87,41 1,00 0,00 11,59 699,00

CHIM/02 88,75 0,46 0,00 10,78 1076,00

CHIM/03 86,71 0,77 0,07 12,45 1422,00

CHIM/04 88,46 1,37 0,00 10,16 364,00

CHIM/05 60,00 0,00 0,00 40,00 5,00

CHIM/06 90,45 0,50 0,12 8,93 1613,00

CHIM/07 90,25 0,42 0,21 9,11 472,00

CHIM/08 91,10 0,43 0,17 8,30 1168,00

CHIM/09 90,31 2,38 0,91 6,40 547,00

CHIM/10 92,49 2,31 0,00 5,20 173,00

CHIM/11 91,67 0,00 0,00 8,33 96,00

CHIM/12 86,00 5,33 0,00 8,67 150,00

ENTI e

CONSORZI 86,69 0,50 0,00 12,82 3823,00

Totale 88,37009 0,749483 0,094762 10,785666 11608

Tabella 2.11: Distribuzione dei prodotti di ricerca per lingua di pubblicazione e SSD. Per SSD si intende il settore scientifico

disciplinare di afferenza del soggetto valutato. La categoria “Altra lingua” contiene le percentuali di prodotti di ricerca

pubblicati in lingue diverse da italiano e inglese. La categoria “Lingua non disponibile” contiene le percentuali dei prodotti

di ricerca per i quali la lingua di pubblicazione non è stata specificata.

20

tipologia prodotti

somma

punteggi

(v)

# prodotti

conferiti non

penalizzati

(n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti L

Articolo su rivista 9354,00 11390,00 0,82 57,46 26,29 7,25 8,99

Atto di convegno 1,00 43,00 0,02 0,00 0,00 4,65 95,35

Brevetto 26,90 41,00 0,66 17,07 43,90 26,83 12,20

Contributo in volume 11,80 45,00 0,26 0,00 2,22 48,89 48,89

Monografia 5,50 24,00 0,23 4,17 0,00 37,50 58,33

Altro 3,00 12,00 0,25 25,00 0,00 0,00 75,00

Totale 9402,2 11555 0,81 56,74 26,08 7,53 9,65

Tabella 2.12: Punteggi ottenuti dai prodotti di ricerca dell'Area 03 suddivisi per tipologia. Nella tabella non sono inclusi i

prodotti penalizzati, definiti nella didascalia della Tabella 2.5. Per “somma punteggi (v)” si intende la somma dei punteggi dei

singoli prodotti valutati mediante peer review o bibliometria. (n): numero prodotti conferiti (non penalizzati); Il voto medio

(primo indicatore "I") indica il rapporto fra la valutazione complessiva dei prodotti (v) e il numero di prodotti conferiti (non

penalizzati) (n). Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-,

Buono -B-, Accettabile -A, Limitato -L-). La tipologia “Altro” comprende tutte le tipologie di prodotto non menzionate nella

tabella che sono state accorpate a causa del numero ridotto di prodotti che includono.

2.4 Brevetti

La valutazione dei brevetti è stata condotta utilizzando in maniera omogenea i seguenti

criteri, riportati in ordine di rilevanza:

1. Stato di domanda o brevetto concesso, a crescere nella sequenza A1 A2 B1 B2

2. Grado e rilevanza estensione all’estero

3. Presenza di industrie tra gli assegnatari o trasferimento documentato del brevetto a

industrie

4. Stato legale del brevetto (rinnovi, mantenimento in vita)

5. Contenuto tecnico e grado di rilevanza per il settore industriale chimico

6. Coerenza della data di primo deposito del brevetto con il periodo di valutazione.

Non sono stati considerati brevetti che sono evidenti duplicazioni in altri paesi di brevetti già

oggetto della valutazione. La distribuzione delle valutazioni effettuate nelle quattro categorie E,

B, A, L è stata abbastanza omogenea quantitativamente alla distribuzione osservata per le

pubblicazioni su riviste. Tuttavia, il numero di brevetti presentati per la valutazione (0.45% dei

prodotti totali) è stato significativamente inferiore a quanto ci si poteva aspettare da un semplice

rapporto tra il numero di brevetti (determinato in Espacenet per la classificazione IPC=C e (Italia

OR Italy)) e il numero di pubblicazioni presentati da istituzioni italiane nel settore chimico nel

21

periodo 2004-2010 (determinato in WoK usando come SU=Chemistry e CU=(Italy OR Italia) e

articoli come tipo documenti, lingua = inglese) (circa 9.6%). Questo è probabilmente dovuto alla

mancanza di criteri predeterminati nella valutazione, ma anche ad altri fattori. Infatti, occorre

osservare come nel settore chimico i brevetti rappresentino una parte importante della letteratura.

Oltre il 30% dei brevetti di istituzioni italiane rientrano nella classificazione chimica (sempre in

Espacenet, Worldwide includendo o no la classificazione IPC=C – Chemistry, altri criteri come

sopra), sebbene sia necessario rilevare che solo il 5.4% di questi brevetti include tra gli inventori

anche ricercatori di Università ed Enti di ricerca (CNR, ENEA). In conclusione, l’area chimica

contribuisce per oltre un terzo dei brevetti prodotti in Italia, ma questo avviene principalmente

con il contributo della ricerca industriale. Rispetto alla media europea, la ricerca accademica

italiana è carente per quanto concerne la protezione delle proprie invenzioni, e questo ha

probabilmente contribuito a determinare lo scarso numero di brevetti presentati per la

valutazione VQR.

3. La valutazione di area delle strutture

Sulla base del Bando, ai singoli prodotti presentati sono assegnati pesi 1, 0.8, 0.5 e 0 a seconda

che siano valutati Eccellenti, Buoni, Accettabili o Limitati; ai prodotti mancanti è assegnato peso

-0.5, ai non valutabili è assegnato peso -1, e in casi accertati di plagio o frode si ha peso -2.

Indicando rispettivamente con ni,j,E, ni,j,B, ni,j,A, ni,j,L, ni,j,MIS, ni,j,NV e ni,j,PL il numero di prodotti

Eccellenti, Buoni, Accettabili, Limitati, Mancanti, Non Valutabili e Plagio della struttura i-esima

nell’area scientifico-disciplinare j-esima, si ottiene la valutazione complessiva vij della struttura

i-esima nell’area j-esima come:

Nelle due sezioni seguenti (3.1 e 3.2) proporremo due indicatori di qualità della ricerca

indipendenti dalla numerosità dei soggetti valutati della struttura afferenti all’area (sezione 3.1) e

l’indicatore IRAS1i,j definito nel decreto ministeriale e nel bando VQR, che tiene conto invece

sia della qualità della ricerca sia della numerosità dei soggetti valutati della struttura afferenti

all’area (sezione 3.2).

I due indicatori proposti nella sezione 3.1 e l’indicatore IRAS1i, j del Bando si riferiscono a una

struttura e a un’area particolare, e non sono quindi affetti da eventuali difformità nelle

valutazioni inter-area.

22

3.1 Gli indicatori di qualità delle strutture nell’area

3.1.1 Premessa

Gli indicatori proposti si riferiscono solo alla qualità complessiva e non tengono conto del

diverso numero di soggetti valutati per la specifica area nelle varie strutture. Di conseguenza, tali

indicatori non possono essere utilizzati da soli per la distribuzione delle risorse, ma devono

essere integrati (o sostituiti in toto) dall’indicatore IRAS1i, j, che tiene conto sia della qualità della

ricerca sia delle dimensioni della struttura nell’area. I due indicatori forniscono però

informazioni utili sulla qualità della ricerca delle strutture in una determinata area scientifica.

3.1.2 Il primo indicatore

Indicando con ni, 3 il numero di prodotti attesi per la VQR della struttura i-esima nell’area 03, e

con ʋi,3 il suo peso, o “voto”, ottenuto in base alla valutazione di classe, il primo indicatore

è definito da:

L’indicatore costituisce il voto medio dei prodotti attesi della struttura i-esima

nell’Area03.

3.1.3 Il secondo indicatore

Il secondo indicatore è dato da:

∑

⁄

dove V3 e N3 indicano la valutazione complessiva e il numero totale di prodotti attesi nell’area

03, vale a dire:

∑ ∑

23

L’indicatore rappresenta il rapporto tra il voto medio ricevuto dai prodotti della struttura

i-esima nell'area 03 e il voto medio ricevuto da tutti i prodotti dell'area 03. Esso consente una

misura diretta della qualità relativa della ricerca in una certa area espressa da una determinata

struttura: valori inferiori a 1 indicano una produzione scientifica di qualità inferiore alla media di

area, valori superiori a 1 indicano una qualità superiore alla media.

3.1.4 Graduatoria delle strutture sulla base dei due indicatori

La Tabella 3.1 riassume i punteggi ottenuti dai prodotti dell’Area 03 suddivisi per

tipologia di struttura: appare evidente che Consorzi e Università ottengono un voto medio

significativamente più elevato degli Enti Pubblici di Ricerca.

TOTALE

somma

punteggi

(v)

# prodotti

attesi (n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti L

% prodotti

penalizzati

Università 6284,75 7909,00 0,79 56,88 25,21 6,85 9,34 1,71

Enti 2124,23 3027,00 0,70 47,90 25,90 8,85 10,47 6,87

Consorzi 817,10 997,00 0,82 60,88 23,67 6,02 5,92 3,51

Tabella 3.1: Punteggi ottenuti dai prodotti dell'Area 03 suddivisi per tipologia di Struttura: Università, Enti e Consorzi. Nella

tabella sono inclusi i prodotti penalizzati, definiti nella didascalia della Tabella 4.4. Per “somma punteggi (v)” si intende la

somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo indicatore "I") indica il

rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione percentuale dei prodotti

conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) e dei prodotti

penalizzati.

3.1.4.1 Graduatoria delle Università

La Tabella 3.2 fornisce il dettaglio delle graduatorie delle Università, separate in strutture grandi

(G > 300 prodotti), medie (M, tra 100 e 300 prodotti) e piccole (P, tra 20 e 99 prodotti), mentre la

Tabella 3.3 fornisce un ulteriore dettaglio, separando i risultati per SSD. La correlazione con

analisi più dettagliate (vedi sotto) è significativa per le strutture grandi e medie (il confine tra le

due è abbastanza arbitrario) con risultati particolarmente buoni per le Università di Roma

Torvergata, Parma e Siena. Un’analisi accurata per le strutture piccole è più difficile perché la

loro eccellenza è in genere legata ad un numero limitato di SSD (vedi sotto) e rappresenta

dunque più punte singole che un’elevata qualità media.

24

Università dimensione

somma

punteggi

(v)

#

prodotti

attesi

(n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

% prodotti

penalizzati R

Bologna G 483,00 576,00 0,84 64,06 22,57 4,86 7,81 0,69 1,06

Padova G 275,57 329,00 0,84 69,60 17,93 3,65 5,47 3,34 1,05

Firenze G 283,10 345,00 0,82 60,87 25,51 3,48 8,41 1,74 1,03

Torino G 275,00 338,00 0,81 58,58 25,44 6,21 9,47 0,30 1,02

Roma La Sapienza G 343,23 438,00 0,78 57,08 24,66 6,16 9,59 2,51 0,99

Napoli Federico II G 354,75 461,00 0,77 54,23 26,90 5,86 11,06 1,95 0,97

Milano G 319,15 418,00 0,76 50,72 25,12 12,44 10,29 1,44 0,96

Roma Tor Vergata M 96,85 102,00 0,95 79,41 18,63 0,98 0,00 0,98 1,19

Parma M 228,30 241,00 0,95 80,50 17,01 1,24 1,24 0,00 1,19

Siena M 127,80 137,00 0,93 79,56 15,33 2,92 2,19 0,00 1,17

Milano Bicocca M 104,50 117,00 0,89 66,67 25,64 4,27 3,42 0,00 1,12

Salerno M 186,00 209,00 0,89 72,25 19,14 2,87 5,74 0,00 1,12

Perugia M 183,45 210,00 0,87 71,43 19,52 2,86 4,29 1,90 1,10

Calabria M 133,85 165,00 0,81 51,52 33,33 8,48 4,85 1,82 1,02

Pavia M 171,80 212,00 0,81 58,96 24,06 7,55 8,49 0,94 1,02

Trieste M 113,90 142,00 0,80 57,04 27,46 3,52 11,97 0,00 1,01

Piemonte Orientale M 80,10 100,00 0,80 65,00 17,00 5,00 11,00 2,00 1,01

Pisa M 200,10 250,00 0,80 51,60 32,80 6,00 8,00 1,60 1,01

Bari M 206,00 264,00 0,78 48,86 31,82 10,61 5,30 3,41 0,98

Cagliari M 159,90 206,00 0,78 52,91 28,16 6,31 11,65 0,97 0,98

Messina M 175,55 231,00 0,76 52,81 24,24 8,66 12,99 1,30 0,96

Genova M 164,90 218,00 0,76 58,26 17,43 9,63 12,39 2,29 0,95

Ferrara M 120,80 161,00 0,75 44,72 31,68 9,94 13,66 0,00 0,94

Modena e Reggio

Emilia M 148,00 200,00 0,74 43,50 32,50 9,50 14,00 0,50 0,93

Catania M 189,80 260,00 0,73 46,15 28,08 11,54 11,54 2,69 0,92

Camerino M 89,05 123,00 0,72 53,66 18,70 11,38 11,38 4,88 0,91

Venezia Cà Foscari M 117,50 164,00 0,72 48,78 24,39 10,37 12,80 3,66 0,90

Palermo M 172,80 247,00 0,70 40,08 30,77 10,93 17,81 0,40 0,88

Sassari M 93,20 140,00 0,67 46,43 24,29 8,57 13,57 7,14 0,84

Catanzaro P 18,60 19,00 0,98 89,47 10,53 0,00 0,00 0,00 1,23

Verona P 16,80 18,00 0,93 88,89 5,56 0,00 5,56 0,00 1,17

Brescia P 13,60 15,00 0,91 80,00 13,33 0,00 6,67 0,00 1,14

Teramo P 16,20 18,00 0,90 66,67 22,22 11,11 0,00 0,00 1,13

Trento P 17,70 21,00 0,84 47,62 33,33 19,05 0,00 0,00 1,06

Torino Politecnico P 30,20 36,00 0,84 63,89 25,00 0,00 11,11 0,00 1,06

Salento P 38,20 47,00 0,81 42,55 51,06 0,00 2,13 4,26 1,02

L'Aquila P 30,80 38,00 0,81 57,89 28,95 5,26 2,63 5,26 1,02

25

Bari Politecnico P 19,40 24,00 0,81 50,00 33,33 8,33 8,33 0,00 1,02

Roma Tre P 16,70 21,00 0,80 57,14 19,05 14,29 9,52 0,00 1,00

Milano Politecnico P 60,75 77,00 0,79 63,64 20,78 3,90 7,79 3,90 0,99

Insubria P 68,10 88,00 0,77 52,27 28,41 5,68 13,64 0,00 0,97

Basilicata P 62,40 82,00 0,76 41,46 40,24 7,32 8,54 2,44 0,96

Foggia P 13,40 18,00 0,74 38,89 44,44 0,00 16,67 0,00 0,94

Udine P 31,30 43,00 0,73 51,16 25,58 2,33 20,93 0,00 0,92

Napoli II P 23,10 32,00 0,72 31,25 37,50 21,88 9,38 0,00 0,91

Chieti e Pescara P 50,30 71,00 0,71 45,07 22,54 15,49 16,90 0,00 0,89

Molise P 12,75 18,00 0,71 33,33 27,78 27,78 5,56 5,56 0,89

Urbino P 64,80 95,00 0,68 51,58 24,21 3,16 12,63 8,42 0,86

Tuscia P 19,10 29,00 0,66 31,03 41,38 3,45 24,14 0,00 0,83

Marche P 21,40 33,00 0,65 24,24 39,39 18,18 18,18 0,00 0,82

Napoli Parthenope P 6,40 16,00 0,40 31,25 18,75 6,25 25,00 18,75 0,50

Tabella 3.2: Graduatorie delle Università divise per dimensione in base al numero di prodotti attesi dall'Area 03: G=grandi (n

≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100) e ordinate per voto medio (Primo indicatore I=v/n). Per “somma

punteggi (v)” si intende la somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo

indicatore "I") indica il rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione

percentuale dei prodotti conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A,

Limitato -L-) e dei prodotti penalizzati. La tabella non include le strutture con meno di 10 prodotti attesi. R (Secondo

indicatore) indica il rapporto tra il voto medio ricevuto dai prodotti della Struttura e il voto medio ricevuto da tutti i prodotti

dell'Area 03.

Scegliendo arbitrariamente la soglia di 0.95 per definire l’eccellenza assoluta e quella di 0.5 per

definire la soglia di accettabilità, i vari SSD della chimica mostrano tendenze abbastanza simili

(anche se con punteggi particolarmente elevati per l’SSD Chim03) eccetto per quelli appartenenti

al macrosettore farmaceutico (Chim08, Chim09, Chim10 e Chim11) che ottengono risultati

mediamente inferiori. Le sole Università ad eccellere in 3 SSD sono Parma (Chim01, Chim06 e

Chim08) e Siena (Chim12, Chim03 e Chim06). Cinque Università eccellono

contemporaneamente in 2 SSD: il Piemonte Orientale (Chim02 e Chim03), Firenze (Chim01 e

Chim03); Torino (Chim02 e Chim04); Roma Torvergata (Chim02 e Chim07); Genova (Chim01,

Chim07) . Infine, altre sette Università eccellono in un solo SSD: Genova (Chim01), Trieste

(Chim03), Milano Bicocca (Chim03), Salerno (Chim04), Bologna (Chim04), Salento (Chim07),

Perugia (Chim08). E’ interessante notare che tra queste Università solo Firenze (Chim04),

Trieste, Genova e Piemonte Orientale (Chim09) ottengono risultati limitati (inferiori a 0.5) in un

SSD.

26

SSD ente

somma

punteggi

(v)

#

prodotti

attesi (n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

% prodotti

penalizzati

CHIM/01

Parma 22,60 23,00 0,98 91,30 8,70 0,00 0,00 0,00

Firenze 29,20 30,00 0,97 86,67 13,33 0,00 0,00 0,00

Genova 14,40 15,00 0,96 80,00 20,00 0,00 0,00 0,00

Teramo 10,50 11,00 0,95 90,91 0,00 9,09 0,00 0,00

Roma Tor Vergata 14,25 15,00 0,95 93,33 0,00 0,00 0,00 6,67

Bari 27,90 30,00 0,93 80,00 10,00 10,00 0,00 0,00

Catania 16,50 18,00 0,92 66,67 27,78 5,56 0,00 0,00

Basilicata 12,60 14,00 0,90 50,00 50,00 0,00 0,00 0,00

Cagliari 16,10 18,00 0,89 55,56 38,89 5,56 0,00 0,00

Piemonte Orientale 10,70 12,00 0,89 58,33 33,33 8,33 0,00 0,00

Pavia 16,00 18,00 0,89 72,22 27,78 0,00 0,00 0,00

Roma La Sapienza 47,20 54,00 0,87 64,81 25,93 3,70 5,56 0,00

Pisa 19,20 22,00 0,87 54,55 40,91 0,00 4,55 0,00

Padova 14,80 17,00 0,87 58,82 35,29 0,00 5,88 0,00

Bologna 47,70 55,00 0,87 65,45 25,45 1,82 7,27 0,00

Venezia Cà Foscari 23,00 27,00 0,85 44,44 40,74 11,11 3,70 0,00

Ferrara 14,10 17,00 0,83 47,06 41,18 5,88 5,88 0,00

Modena e Reggio

Emilia 21,50 26,00 0,83 61,54 19,23 11,54 7,69 0,00

Foggia 9,80 12,00 0,82 41,67 50,00 0,00 8,33 0,00

Torino 45,70 57,00 0,80 66,67 15,79 1,75 15,79 0,00

Palermo 8,90 13,00 0,68 46,15 23,08 7,69 23,08 0,00

Urbino 10,90 18,00 0,61 27,78 44,44 5,56 11,11 11,11

Messina 16,80 28,00 0,60 28,57 39,29 7,14 17,86 7,14

Insubria 10,50 18,00 0,58 22,22 44,44 5,56 27,78 0,00

Camerino 9,50 19,00 0,50 31,58 26,32 10,53 15,79 15,79

Milano 14,10 29,00 0,49 27,59 24,14 17,24 17,24 13,79

Napoli Federico II 8,00 21,00 0,38 14,29 23,81 9,52 52,38 0,00

CHIM/02


Torino 53,10 55,00 0,97 85,45 12,73 1,82 0,00 0,00

Roma Tor Vergata 28,90 30,00 0,96 86,67 10,00 3,33 0,00 0,00

Perugia 24,45 26,00 0,94 76,92 23,08 0,00 0,00 0,00

Catania 22,20 24,00 0,93 62,50 37,50 0,00 0,00 0,00

Padova 60,80 66,00 0,92 72,73 24,24 0,00 3,03 0,00

Siena 18,40 20,00 0,92 60,00 40,00 0,00 0,00 0,00

Ferrara 16,10 18,00 0,89 72,22 11,11 16,67 0,00 0,00

Parma 24,10 27,00 0,89 66,67 25,93 3,70 3,70 0,00

Firenze 62,50 71,00 0,88 54,93 39,44 2,82 2,82 0,00

Bologna 73,70 84,00 0,88 69,05 22,62 2,38 4,76 1,19

27

Salerno 18,40 21,00 0,88 76,19 14,29 0,00 9,52 0,00

Trieste 20,90 24,00 0,87 70,83 16,67 12,50 0,00 0,00

Milano 46,10 54,00 0,85 62,96 22,22 11,11 1,85 1,85

Sassari 16,90 20,00 0,85 70,00 15,00 5,00 10,00 0,00

Roma La Sapienza 58,15 70,00 0,83 55,71 28,57 8,57 5,71 1,43

Cagliari 29,00 35,00 0,83 57,14 28,57 5,71 8,57 0,00

Pavia 33,40 41,00 0,81 65,85 19,51 0,00 14,63 0,00

Pisa 38,90 48,00 0,81 39,58 47,92 6,25 6,25 0,00

Insubria 12,00 15,00 0,80 46,67 33,33 13,33 6,67 0,00

Milano Bicocca 20,80 26,00 0,80 57,69 23,08 7,69 11,54 0,00


Bari 18,80 25,00 0,75 52,00 24,00 8,00 16,00 0,00

Genova 19,25 27,00 0,71 59,26 11,11 7,41 22,22 0,00

Basilicata 7,10 10,00 0,71 50,00 20,00 10,00 20,00 0,00

Messina 7,10 10,00 0,71 50,00 20,00 10,00 20,00 0,00

Palermo 26,20 37,00 0,71 27,03 51,35 8,11 10,81 2,70

Modena e Reggio

Emilia 21,70 31,00 0,70 45,16 29,03 3,23 22,58 0,00

Calabria 27,90 40,00 0,70 32,50 45,00 10,00 5,00 7,50


CHIM/03

Trieste 23,80 24,00 0,99 95,83 4,17 0,00 0,00 0,00

Siena 30,60 31,00 0,99 93,55 6,45 0,00 0,00 0,00


Milano Bicocca 33,30 34,00 0,98 94,12 2,94 2,94 0,00 0,00

Cagliari 34,20 35,00 0,98 88,57 11,43 0,00 0,00 0,00

Firenze 81,90 85,00 0,96 88,24 9,41 1,18 1,18 0,00

Parma 47,70 51,00 0,94 78,43 17,65 1,96 1,96 0,00


Bari 45,30 49,00 0,92 75,51 22,45 2,04 0,00 0,00

Padova 57,10 62,00 0,92 82,26 11,29 1,61 4,84 0,00

Salerno 37,70 41,00 0,92 73,17 21,95 2,44 2,44 0,00

Calabria 38,50 42,00 0,92 76,19 19,05 0,00 4,76 0,00

Roma Tor Vergata 20,80 23,00 0,90 52,17 47,83 0,00 0,00 0,00

Catania 40,80 47,00 0,87 72,34 17,02 2,13 8,51 0,00

Ferrara 27,60 32,00 0,86 53,13 37,50 6,25 3,13 0,00

Pavia 30,00 35,00 0,86 74,29 14,29 2,86 5,71 2,86

Modena e Reggio

Emilia 20,20 24,00 0,84 54,17 37,50 0,00 8,33 0,00

Bologna 76,40 91,00 0,84 72,53 14,29 2,20 8,79 2,20

Urbino 14,80 18,00 0,82 55,56 33,33 0,00 11,11 0,00

Milano 67,15 82,00 0,82 64,63 18,29 6,10 9,76 1,22

Salento 9,00 11,00 0,82 9,09 90,91 0,00 0,00 0,00

Perugia 42,90 53,00 0,81 79,25 5,66 1,89 5,66 7,55

Chieti e Pescara 11,10 14,00 0,79 64,29 14,29 7,14 14,29 0,00

28

Torino 47,40 60,00 0,79 53,33 30,00 8,33 8,33 0,00

Roma La Sapienza 59,00 75,00 0,79 54,67 28,00 6,67 8,00 2,67

Insubria 16,40 21,00 0,78 61,90 14,29 9,52 14,29 0,00

Pisa 24,20 31,00 0,78 51,61 29,03 9,68 6,45 3,23

Camerino 15,10 20,00 0,75 70,00 10,00 5,00 5,00 10,00


Messina 28,00 39,00 0,72 33,33 38,46 15,38 12,82 0,00

Genova 26,35 37,00 0,71 59,46 10,81 13,51 10,81 5,41

Palermo 24,10 34,00 0,71 41,18 35,29 2,94 20,59 0,00

Napoli II 8,80 13,00 0,68 15,38 46,15 30,77 7,69 0,00

Basilicata 14,60 23,00 0,63 39,13 30,43 8,70 13,04 8,70

Sassari 17,10 27,00 0,63 66,67 7,41 3,70 0,00 22,22

CHIM/04

Salerno 23,40 24,00 0,98 87,50 12,50 0,00 0,00 0,00

Bologna 32,50 34,00 0,96 79,41 20,59 0,00 0,00 0,00

Torino 25,80 27,00 0,96 74,07 25,93 0,00 0,00 0,00

Padova 16,00 17,00 0,94 82,35 17,65 0,00 0,00 0,00

Milano 13,70 15,00 0,91 66,67 26,67 6,67 0,00 0,00

Catania 10,00 11,00 0,91 54,55 45,45 0,00 0,00 0,00

Cagliari 10,00 11,00 0,91 54,55 45,45 0,00 0,00 0,00

Parma 13,60 15,00 0,91 80,00 13,33 0,00 6,67 0,00


Genova 27,00 31,00 0,87 74,19 16,13 0,00 9,68 0,00

Roma La Sapienza 20,50 24,00 0,85 50,00 41,67 4,17 4,17 0,00


Trieste 8,30 12,00 0,69 25,00 50,00 8,33 16,67 0,00

Pisa 18,20 29,00 0,63 55,17 13,79 3,45 17,24 10,34

Messina 14,25 24,00 0,59 50,00 0,00 20,83 25,00 4,17

Firenze 5,80 12,00 0,48 16,67 33,33 16,67 33,33 0,00

CHIM/06

Parma 44,20 45,00 0,98 91,11 8,89 0,00 0,00 0,00

Siena 17,30 18,00 0,96 88,89 5,56 5,56 0,00 0,00

Roma Tor Vergata 15,00 16,00 0,94 68,75 31,25 0,00 0,00 0,00

Chieti e Pescara 9,10 10,00 0,91 70,00 20,00 10,00 0,00 0,00

Salerno 42,70 47,00 0,91 74,47 19,15 2,13 4,26 0,00

Trieste 32,60 36,00 0,91 63,89 33,33 0,00 2,78 0,00

Napoli II 8,90 10,00 0,89 60,00 30,00 10,00 0,00 0,00

Milano Bicocca 21,20 24,00 0,88 58,33 37,50 0,00 4,17 0,00

Urbino 20,20 23,00 0,88 73,91 17,39 0,00 8,70 0,00

Bologna 107,10 122,00 0,88 67,21 23,77 4,92 3,28 0,82

L'Aquila 13,10 15,00 0,87 73,33 13,33 6,67 6,67 0,00

Perugia 52,40 60,00 0,87 66,67 21,67 6,67 5,00 0,00

Pavia 40,40 48,00 0,84 60,42 27,08 6,25 4,17 2,08

Calabria 28,30 34,00 0,83 50,00 32,35 14,71 2,94 0,00

Messina 37,30 45,00 0,83 60,00 24,44 6,67 8,89 0,00

29


Sassari 17,30 21,00 0,82 52,38 28,57 14,29 4,76 0,00

Pisa 43,60 53,00 0,82 52,83 32,08 7,55 7,55 0,00

Torino 37,70 46,00 0,82 56,52 30,43 2,17 10,87 0,00

Insubria 19,60 24,00 0,82 58,33 29,17 0,00 12,50 0,00

Padova 53,87 66,00 0,82 75,76 10,61 3,03 4,55 6,06

Roma La Sapienza 56,53 70,00 0,81 65,71 20,00 4,29 5,71 4,29

Milano 100,90 125,00 0,81 53,60 26,40 12,00 8,00 0,00

Bari 32,10 40,00 0,80 42,50 42,50 7,50 7,50 0,00

Catania 48,00 60,00 0,80 46,67 33,33 13,33 6,67 0,00

Marche 9,40 12,00 0,78 25,00 66,67 0,00 8,33 0,00

Basilicata 21,90 28,00 0,78 35,71 46,43 10,71 7,14 0,00

Camerino 20,60 27,00 0,76 62,96 7,41 14,81 14,81 0,00

Palermo 37,20 50,00 0,74 48,00 28,00 8,00 16,00 0,00

Firenze 44,70 61,00 0,73 55,74 22,95 3,28 13,11 4,92

Modena e Reggio

Emilia 20,30 28,00 0,73 39,29 39,29 7,14 10,71 3,57



Genova 19,80 33,00 0,60 39,39 18,18 21,21 12,12 9,09

Ferrara 19,70 33,00 0,60 33,33 27,27 9,09 30,30 0,00

Cagliari 17,80 38,00 0,47 15,79 28,95 15,79 39,47 0,00

CHIM/07

Roma Tor Vergata 17,90 18,00 0,99 100,00 0,00 0,00 0,00 0,00

Genova 14,80 15,00 0,99 93,33 6,67 0,00 0,00 0,00

Salento 11,60 12,00 0,97 83,33 16,67 0,00 0,00 0,00

Messina 11,40 12,00 0,95 75,00 25,00 0,00 0,00 0,00

Salerno 14,20 15,00 0,95 73,33 26,67 0,00 0,00 0,00

Palermo 17,20 19,00 0,91 68,42 21,05 10,53 0,00 0,00

Perugia 13,40 15,00 0,89 46,67 53,33 0,00 0,00 0,00

Modena e Reggio

Emilia 10,70 12,00 0,89 58,33 33,33 8,33 0,00 0,00

Brescia 10,60 12,00 0,88 75,00 16,67 0,00 8,33 0,00

Calabria 10,45 12,00 0,87 66,67 33,33 0,00 0,00 0,00

Torino Politecnico 30,20 36,00 0,84 63,89 25,00 0,00 11,11 0,00

Bari Politecnico 19,40 24,00 0,81 50,00 33,33 8,33 8,33 0,00

Milano Politecnico 57,15 73,00 0,78 64,38 19,18 4,11 8,22 4,11

Udine 7,80 10,00 0,78 30,00 60,00 0,00 10,00 0,00

Bologna 18,70 24,00 0,78 37,50 37,50 20,83 4,17 0,00

Roma La Sapienza 16,65 24,00 0,69 54,17 20,83 8,33 12,50 4,17


L'Aquila 6,10 10,00 0,61 50,00 20,00 10,00 0,00 20,00

Catania 10,00 17,00 0,59 17,65 29,41 35,29 17,65 0,00

Padova 7,70 17,00 0,45 41,18 23,53 0,00 5,88 29,41

Marche 5,40 12,00 0,45 8,33 25,00 33,33 33,33 0,00

30

CHIM/08

Perugia 26,90 28,00 0,96 85,71 10,71 3,57 0,00 0,00

Parma 33,40 35,00 0,95 77,14 22,86 0,00 0,00 0,00

Siena 31,00 33,00 0,94 81,82 15,15 0,00 3,03 0,00

Salerno 22,20 24,00 0,93 79,17 16,67 0,00 4,17 0,00

Ferrara 27,60 31,00 0,89 54,84 38,71 6,45 0,00 0,00

Messina 25,70 29,00 0,89 75,86 13,79 3,45 6,90 0,00

Cagliari 20,00 23,00 0,87 69,57 21,74 0,00 8,70 0,00

Bologna 76,70 89,00 0,86 69,66 22,47 0,00 7,87 0,00

Camerino 29,15 34,00 0,86 58,82 29,41 5,88 2,94 2,94

Pavia 21,90 26,00 0,84 53,85 30,77 11,54 3,85 0,00

Pisa 46,50 56,00 0,83 58,93 26,79 5,36 8,93 0,00

Genova 24,70 30,00 0,82 53,33 30,00 10,00 6,67 0,00

Padova 39,80 50,00 0,80 58,00 22,00 12,00 4,00 4,00



Roma La Sapienza 47,40 64,00 0,74 65,63 12,50 1,56 15,63 4,69

Milano 47,60 66,00 0,72 39,39 33,33 12,12 15,15 0,00

Bari 63,10 90,00 0,70 32,22 40,00 15,56 5,56 6,67

Torino 31,10 45,00 0,69 28,89 37,78 20,00 13,33 0,00

Modena e Reggio

Emilia 27,30 41,00 0,67 26,83 39,02 17,07 17,07 0,00

Firenze 37,20 59,00 0,63 28,81 40,68 8,47 16,95 5,08

Urbino 13,20 21,00 0,63 52,38 19,05 4,76 9,52 14,29

Trieste 16,30 26,00 0,63 42,31 23,08 3,85 30,77 0,00

Calabria 7,70 13,00 0,59 23,08 30,77 23,08 23,08 0,00

Chieti e Pescara 17,30 31,00 0,56 29,03 19,35 22,58 29,03 0,00

Palermo 29,40 56,00 0,52 23,21 23,21 21,43 32,14 0,00

Sassari 22,20 45,00 0,49 22,22 31,11 13,33 24,44 8,89

Catania 20,50 52,00 0,39 15,38 19,23 25,00 32,69 7,69

CHIM/09

Parma 17,80 19,00 0,94 68,42 31,58 0,00 0,00 0,00

Catania 19,70 22,00 0,90 54,55 40,91 4,55 0,00 0,00

Firenze 10,40 12,00 0,87 66,67 25,00 0,00 8,33 0,00

Calabria 12,10 14,00 0,86 42,86 50,00 7,14 0,00 0,00

Pisa 9,50 11,00 0,86 45,45 45,45 9,09 0,00 0,00


Siena 15,20 18,00 0,84 61,11 22,22 11,11 5,56 0,00

Perugia 14,60 18,00 0,81 72,22 11,11 0,00 16,67 0,00

Palermo 20,60 26,00 0,79 53,85 26,92 7,69 11,54 0,00

Modena e Reggio

Emilia 15,60 20,00 0,78 45,00 35,00 10,00 10,00 0,00

Camerino 7,30 10,00 0,73 50,00 10,00 30,00 10,00 0,00

Salerno 12,20 17,00 0,72 47,06 23,53 11,76 17,65 0,00

Padova 19,90 28,00 0,71 57,14 10,71 10,71 21,43 0,00

Torino 23,00 34,00 0,68 38,24 29,41 11,76 20,59 0,00

31

Sassari 8,10 12,00 0,68 50,00 16,67 8,33 25,00 0,00

Pavia 22,20 35,00 0,63 31,43 25,71 22,86 20,00 0,00

Bologna 19,50 31,00 0,63 22,58 32,26 29,03 16,13 0,00

Roma La Sapienza 17,00 29,00 0,59 37,93 17,24 17,24 24,14 3,45

Bari 15,00 26,00 0,58 23,08 38,46 19,23 7,69 11,54

Cagliari 14,90 26,00 0,57 34,62 30,77 11,54 15,38 7,69

Milano 18,20 32,00 0,57 21,88 28,13 25,00 25,00 0,00

Ferrara 11,30 21,00 0,54 23,81 28,57 14,29 33,33 0,00

Trieste 4,80 11,00 0,44 0,00 54,55 0,00 45,45 0,00

Genova 7,70 18,00 0,43 16,67 22,22 16,67 44,44 0,00


CHIM/10

Parma 13,10 14,00 0,94 78,57 14,29 7,14 0,00 0,00

Cagliari 12,90 15,00 0,86 40,00 53,33 6,67 0,00 0,00

Messina 21,60 28,00 0,77 53,57 25,00 7,14 14,29 0,00


CHIM/11

Milano Bicocca 9,50 11,00 0,86 45,45 45,45 9,09 0,00 0,00

Roma La Sapienza 13,60 16,00 0,85 43,75 43,75 12,50 0,00 0,00

Bologna 13,30 21,00 0,63 52,38 4,76 14,29 28,57 0,00

CHIM/12

Siena 12,00 12,00 1,00 100,00 0,00 0,00 0,00 0,00

Bologna 15,40 23,00 0,67 39,13 34,78 0,00 26,09 0,00


Tabella 3.3: Graduatoria delle Università ordinate per voto medio (Primo indicatore I=v/n). Per “somma punteggi (v)” si

intende la somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo indicatore "I")

indica il rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione percentuale dei

prodotti conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) e dei

prodotti penalizzati. La tabella non include le strutture con meno di 10 prodotti attesi.

3.1.4.2 Graduatoria degli Enti di Ricerca

La Tabella 3.4 fornisce il dettaglio delle graduatorie degli Enti di Ricerca, separati in strutture

grandi (G > 300 prodotti), medie (M, tra 100 e 299 prodotti) e piccole (P, tra 20 e 99 prodotti). Il solo CNR appartiene alla categoria G e fornisce un numero di prodotti pari al 95% di quello di

tutti gli Enti di Ricerca. Appare quindi evidente che il CNR non può essere confrontato in

maniera convincente con gli altri Enti e che anche il confronto con le Università ‘grandi’ è

discutibile, poiché il numero di prodotti attesi per il CNR risulta circa 10 volte più elevato di

quello delle più grandi Università. Un confronto più ragionevole potrebbe essere fatto tra Istituti

del CNR e Università o Dipartimenti Universitari. Per quanto riguarda gli Enti più piccoli, spicca

il risultato dell’IIT, ma va ricordato che il finanziamento ordinario di questo Ente è

significativamente più elevato di quello degli altri Enti e delle Università: a nostro avviso

un’analisi più corretta dovrebbe tener conto del rapporto risultati/finanziamento.

32

Da un altro punto di vista, le regole di questa VQR prevedono che ogni ricercatore degli Enti di

Ricerca debba presentare 6 “prodotti” mente gli universitari ne devono presentare 3. Questa

scelta è basata sulla considerazione che il ricercatore universitario ha il dovere istituzionale di

svolgere anche la didattica, quindi può dedicare solo il 50% del proprio tempo alla ricerca.

Tuttavia, alcune attività previste dalla missione istituzionale dei ricercatori di alcuni Enti di

Ricerca (quali, ad esempio, svolgimento di servizi tecnici, consulenze, attività di trasferimento

tecnologico) non sono prese in considerazione come fattori limitanti il tempo dedicato alla

ricerca. Altri problemi nella valutazione del CNR nascono dal fatto che le regole prevedono che

un singolo “prodotto”, per esempio un articolo su una rivista, possa essere sottoposto a

valutazione soltanto una volta dalla stessa istituzione. Tutti gli articoli nati dalla collaborazione

interdisciplinare tra ricercatori appartenenti a diversi Istituti e/o Dipartimenti del CNR, che

costituisce uno dei punti di forza dell’Ente, hanno invece di fatto rappresentato un problema, che

nell’immediato ha portato alla presentazione di un numero maggiore di articoli su libri o

proceedings rispetto ai ricercatori appartenenti all’Università, e nel futuro può avere un effetto di

disincentivazione dall’intraprendere collaborazioni con colleghi dello stesso Ente.

ente Dimen

sione

somma

punteggi

(v)

# prodotti

attesi (n)

voto medio

(I=v/n)

% prodotti

E

% prodotti

B

% prodotti

A

%

prodotti

L

%

prodotti

penalizzat

i

CNR G 2019,13 2902 0,70 46,97 26,36 9,03 10,48 7,17

Fondazione Edmund

MACH - S. Michele

all'Adige (Trento) P 30,30 32 0,95 78,13 18,75 3,13 0,00 0,00

Istituto Italiano di

Tecnologia - IIT P 40,50 45 0,90 77,78 11,11 6,67 4,44 0,00

Istituto Nazionale di

Ricerca Metrologica P 9,00 22 0,41 18,18 22,73 9,09 50,00 0,00

Tabella 3.4: Graduatorie degli Enti di ricerca divise per dimensione in base al numero di prodotti attesi dall'Area 03:

G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100) e ordinate per voto medio (Primo indicatore I=v/n). Per

“somma punteggi (v)” si intende la somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio

(primo indicatore "I") indica il rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi.

Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-,

Accettabile -A, Limitato -L-) e dei prodotti penalizzati. La tabella non include le strutture con meno di 19 prodotti attesi. R

(Secondo indicatore) indica il rapporto tra il voto medio ricevuto dai prodotti della Struttura e il voto medio ricevuto da tutti i

prodotti dell'Area 03.

33

3.1.4.3 Graduatoria dei Consorzi

La Tabella 3.5 fornisce il dettaglio delle graduatorie dei Consorzi Interuniversitari, separati in

strutture grandi (G > 300 prodotti), medie (M tra 100 e 299 prodotti) e piccole (P tra 20 e 99

prodotti). È abbastanza evidente che due dei consorzi che hanno deciso di partecipare alla VQR

(INSTM e CSGI), se pure di dimensioni abbastanza diverse, sono confrontabili da un punto di

vista qualitativo e nettamente migliori di tutti gli altri Consorzi.

ente dimensione somma

punteggi (v)

# prodotti

attesi (n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

%

prodotti

penalizz

ati

Consorzio Interuniversitario

Nazionale per la Scienza e

Tecnologia dei Materiali

M 149,60 153 0,98 93,46 4,58 0,65 0,00 1,31

Consorzio Interuniversitario per

lo Sviluppo dei Sistemi a Grande

Interfase – CS

M 171,10 183 0,93 74,32 22,95 1,64 1,09 0,00

Consorzio Interuniversitario di

Ricerca in Chimica dei Metalli

nei Sistemi Biolo

M 143,60 171 0,84 53,80 33,33 6,43 5,26 1,17


Nazionale La Chimica per

l'Ambiente - INCA

M 78,90 105 0,75 42,86 36,19 6,67 14,29 0,00

Consorzio Nazionale

Interuniversitario Metodologie e

Processi Innovativi di Sint

M 134,60 180 0,75 42,78 28,89 17,78 10,56 0,00


Reattività Chimica e Catalisi -

CIRCC

M 82,05 133 0,62 54,14 18,80 0,00 4,51 22,56


Istituto Nazionale Biostrutture e

Biosistemi - INBB

P 30,25 33 0,92 75,76 15,15 6,06 0,00 3,03

Tabella 3.5: Graduatorie dei Consorzi Interuniversitari divise per dimensione in base al numero di prodotti attesi dall'Area

03: G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100) e ordinate per voto medio (Primo indicatore I=v/n).

Per “somma punteggi (v)” si intende la somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto

medio (primo indicatore "I") indica il rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi.

34

Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-,

Accettabile -A, Limitato -L-) e dei prodotti penalizzati. La tabella non include le strutture con meno di 10 prodotti attesi. R

(Secondo indicatore) indica il rapporto tra il voto medio ricevuto dai prodotti della Struttura e il voto medio ricevuto da tutti i

prodotti dell'Area 03.

3.2 L’indicatore IRAS1i,j del Bando VQR

L’indicatore IRAS1i,j è definito nel Bando VQR come rapporto tra il punteggio complessivo

raggiunto da una struttura in una data area e la valutazione complessiva dell’Area stessa:

∑

Esso può essere scritto come il prodotto di un indicatore di qualità relativa dei prodotti presentati

da una certa struttura in una data area per un indicatore della dimensione della struttura nella

stessa area. L'indicatore di qualità è dato dal rapporto tra il voto medio ricevuto dai prodotti della

struttura i-esima nell'area j-esima rispetto al voto medio ricevuto da tutti i prodotti dell'area j-

esima, e corrisponde all'indicatore definito nella (3), mentre il peso della struttura ( ) è

dato semplicemente dalla quota di prodotti attesi dell'area j-esima dovuti alla struttura i-esima:

∑

⁄

L’indicatore ridefinisce il peso di una struttura in un’area, misurato dalla quota dei

prodotti attesi, sulla base della qualità relativa dei prodotti attesi stessi. Come tale, IRAS1 è un

indicatore utile soprattutto per la ripartizione dei fondi tra strutture in una medesima area, in

quando tiene conto insieme della qualità e del peso relativo di una struttura.

Seguono tabelle e grafici con le graduatorie delle strutture sulla base dell’indicatore IRAS1,

distinguendo tra Università (grandi strutture, medie strutture, e piccole strutture), Enti di Ricerca

e Consorzi.

3.2.1 Graduatoria delle Università – IRAS 1

La Tabella 3.6 fornisce la graduatoria delle Università (ordinate per dimensioni come definito

sopra) in termini dell’indicatore IRAS1. La Colonna con le percentuali riferite ai soli prodotti

attesi confrontata con IRAS1 consente di distinguere le strutture che “guadagnano” (IRAS1

35

maggiore dell’indicatore dimensionale) rispetto alle altre. Risulta evidente che questo indicatore

consente la formulazione di una graduatoria unica in quanto le strutture medio-grandi si

collocano in una posizione che sembrerebbe più corrispondente al loro prestigio. Inoltre la

Tabella smentisce il pregiudizio diffuso che le Università meridionali siano inferiori a quelle del

centro-nord. In ogni caso, a parte la rinormalizzazione tra strutture di dimensioni diverse, questo

indicatore non modifica sostanzialmente i risultati discussi sopra.

Università Dimensioni (n/N) x 100

IRAS1

x 100

Bologna G 7,28 7,69

Napoli Federico II G 5,83 5,64

Roma La Sapienza G 5,54 5,46

Milano G 5,29 5,08

Firenze G 4,36 4,50

Torino G 4,27 4,38

Padova G 4,16 4,38

Bari M 3,34 3,28

Catania M 3,29 3,02

Pisa M 3,16 3,18

Palermo M 3,12 2,75

Parma M 3,05 3,63

Messina M 2,92 2,79

Genova M 2,76 2,62

Pavia M 2,68 2,73

Perugia M 2,66 2,92

Salerno M 2,64 2,96

Cagliari M 2,60 2,54

Modena e Reggio

Emilia M 2,53 2,35

Calabria M 2,09 2,13

Venezia Cà Foscari M 2,07 1,87

Ferrara M 2,04 1,92

Trieste M 1,80 1,81

Sassari M 1,77 1,48

Siena M 1,73 2,03

Camerino M 1,56 1,42

Milano Bicocca M 1,48 1,66

Roma Tor Vergata M 1,29 1,54

Piemonte Orientale M 1,26 1,27

36

Urbino P 1,20 1,03

Insubria P 1,11 1,08

Basilicata P 1,04 0,99

Milano Politecnico P 0,97 0,97

Chieti e Pescara P 0,90 0,80

Salento P 0,59 0,61

Udine P 0,54 0,50

L'Aquila P 0,48 0,49

Torino Politecnico P 0,46 0,48

Marche P 0,42 0,34

Napoli II P 0,40 0,37

Tuscia P 0,37 0,30

Bari Politecnico P 0,30 0,31

Trento P 0,27 0,28

Roma Tre P 0,27 0,27

Catanzaro P 0,24 0,30

Verona P 0,23 0,27

Teramo P 0,23 0,26

Foggia P 0,23 0,21

Molise P 0,23 0,20

Napoli Parthenope P 0,20 0,10

Brescia P 0,19 0,22

Tabella 3.6: Graduatorie delle Università ordinate per IRAS1 divise per dimensione delle Università in base al numero (n) di

prodotti attesi dall'Area 03: G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). IRAS1 è il primo indicatore

di qualità della ricerca definito nel Bando VQR come rapporto tra il punteggio complessivo raggiunto da una struttura in una

data area e la valutazione complessiva dell’area stessa. (n/N) x 100 rappresenta la percentuale dei prodotti attesi dalla

struttura rispetto ai prodotti attesi dall’area (N: numero prodotti attesi dall’Area; n: numero prodotti attesi dalla struttura). La

tabella non include le strutture con meno di 10 prodotti attesi.

3.2.2 Graduatorie dei Centri di Ricerca – IRAS 1

La Tabella 3.7 fornisce la graduatoria dei Centri di Ricerca (ordinati per dimensioni come

definito sopra) in termini dell’indicatore IRAS1.

37

ente dimensione

(n/N) x

100

IRAS1 x

100

CNR G 95,87 95,05

Istituto Italiano di

Tecnologia - IIT P 1,49 1,91

Fondazione Edmund

MACH - S. Michele

all'Adige (Trento) P 1,06 1,43

Istituto Nazionale di

Ricerca Metrologica P 0,73 0,42

Tabella 3.7: Graduatorie degli Enti di ricerca ordinati per IRAS1 divise in base al numero (n) di prodotti attesi dall'Area 03:

G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). IRAS1 è il primo indicatore di qualità della ricerca

definito nel Bando VQR come rapporto tra il punteggio complessivo raggiunto da una struttura in una data area e la

valutazione complessiva dell’area stessa. (n/N) x 100 rappresenta la percentuale dei prodotti attesi dalla struttura rispetto ai

prodotti attesi dall’area (N: numero prodotti attesi dall’Area; n: numero prodotti attesi dalla struttura). La tabella non include

le strutture con meno di 10 prodotti attesi.

3.2.3 Graduatorie dei Consorzi – IRAS 1

La Tabella 3.8 fornisce la graduatoria dei Consorzi (ordinati per dimensioni come definito sopra)

in termini dell’indicatore IRAS1.

3.3 Commenti sul significato degli indicatori di struttura di area

Il primo indicatore, , è un indice di qualità della produzione scientifica che assume il valore 1

nel caso in cui la struttura abbia presentato tutti i prodotti attesi, e tutti abbiano ottenuto la

valutazione di eccellente.

Il secondo indicatore, , fornisce una indicazione sulla posizione della struttura rispetto alla

media di area. Se il suo valore è maggiore di 1, significa che la struttura ha una qualità sopra la

media di area, se è minore di 1, sta sotto la media. Anch’esso, opportunamente normalizzato,

potrebbe essere utilizzato per una distribuzione di risorse che premi soltanto la qualità

indipendentemente dalle dimensioni delle strutture.

38

ente dimensione (n/N) x 100

IRAS1 x

100

Consorzio

Interuniversitario per lo

Sviluppo dei Sistemi a

Grande Interfase - CS M 18,36 20,94

Consorzio Nazionale

Interuniversitario

Metodologie e Processi

Innovativi di Sint M 18,05 16,47

Consorzio

Interuniversitario di

Ricerca in Chimica dei

Metalli nei Sistemi

Biolo M 17,15 17,57

Consorzio

Interuniversitario

Nazionale per la Scienza

e Tecnologia dei

Materiali M 15,35 18,31

Consorzio

Interuniversitario

Reattività Chimica e

Catalisi - CIRCC M 13,34 10,04

Consorzio

Interuniversitario

Nazionale La Chimica

per l'Ambiente - INCA M 10,53 9,66

Consorzio

Interuniversitario Istituto

Nazionale Biostrutture e

Biosistemi - INBB P 3,31 3,70

Tabella 3.8: Graduatorie dei Consorzi ordinati per IRAS1 divise in base al numero (n) di prodotti attesi dall'Area 03:

G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). IRAS1 è il primo indicatore di qualità della ricerca

definito nel Bando VQR come rapporto tra il punteggio complessivo raggiunto da una struttura in una data area e la

valutazione complessiva dell’area stessa. (n/N) x 100 rappresenta la percentuale dei prodotti attesi dalla struttura rispetto ai

39

prodotti attesi dall’area (N: numero prodotti attesi dall’Area; n: numero prodotti attesi dalla struttura). La tabella non include

le strutture con meno di 10 prodotti attesi.

Infine, l’indicatore , definito dal decreto ministeriale e dal Bando, incorpora la

valutazione puramente qualitativa con le dimensioni della struttura, e può essere utilizzato per

una distribuzione delle risorse che sia vista come una alterazione, basata sulla qualità, della

distribuzione puramente proporzionale. Infatti, se i prodotti ottenessero la stessa valutazione

media in tutte le strutture, l’indicatore rifletterebbe soltanto il numero relativo di prodotti

presentati, e quindi, il peso della struttura nella specifica area valutata.

4. La valutazione di area dei dipartimenti

4.1 Premessa

La VQR ha, tra i suoi compiti, quello di fornire alle strutture un “ranking” dei dipartimenti che

possa essere utilizzato come informazione dagli organi decisionali delle strutture nella

distribuzione interna delle risorse.

Gli statuti degli atenei approvati a valle della Legge 240 presentano diverse tipologie di

dipartimenti. Le più frequenti sono rappresentate da:

Dipartimenti che inglobano in toto dipartimenti più piccoli preesistenti.

Dipartimenti che raccolgono in varia misura frange di dipartimenti preesistenti, con

una struttura molto composita e difficilmente ascrivibile a una (o due) aree VQR.

In entrambi i casi, occorre costruire degli indicatori di dipartimento dalle valutazioni dei prodotti

associati ai soggetti valutati di quel dipartimento. Anche in questo caso, come già fatto per le

strutture, è importante far sì che il risultato finale non sia influenzato da difformità di valutazione

inter-area.

Indicando rispettivamente con ni,j,k,E , ni,j,k,B . ni,j,k,A , ni,j,k,L , ni,j,k,MIS , ni,j,k,NV , ni,j,k,PL il numero di

prodotti Eccellenti, Buoni, Accettabili, Limitati, Mancanti, Non Valutabili e Plagio del

dipartimento k-esimo della struttura i-esima nell’area scientifico-disciplinare j-esima, si ottiene la

valutazione complessiva vi,j,k del dipartimento k-esimo della struttura i-esima nell’area j-esima

come:

40

4.2 Gli indicatori di qualità di area del dipartimento

In questa sezione introdurremo due indicatori di qualità di area dei dipartimenti (I e R)

indipendenti dalla numerosità dei soggetti valutati dell’area nei dipartimenti. Non tenendo conto

delle dimensioni dei dipartimenti, non possono essere utilizzati da soli per la distribuzione delle

risorse, ma devono essere integrati (o sostituiti in toto) dall’indicatore IRD1i,j,k , che tiene conto

sia della qualità della ricerca sia delle dimensioni del dipartimento nell’area. I due indicatori

forniscono però informazioni utili sulla qualità della ricerca del dipartimento in una determinata

area scientifica.

4.2.1 Il primo indicatore

Indicando con ni,3,k il numero di prodotti attesi per la VQR del dipartimento k-esimo della

struttura i-esima nell’area 03, il primo indicatore è dato da:

Questo indicatore rappresenta quindi il voto medio ottenuto dal dipartimento k-esimo della

struttura i-esima nell’area 03.

4.2.2 Il secondo indicatore

Il secondo indicatore è dato da

∑

⁄

dove V3 e N3 indicano la valutazione complessiva e il numero totale di prodotti attesi nell’area03.

L’indicatore rappresenta il rapporto tra il voto medio ricevuto dai prodotti del

dipartimento k-esimo della struttura i-esima nell'area 03 e il voto medio ricevuto da tutti i

prodotti dell'area 03. Esso consente una misura diretta della qualità relativa della ricerca in una

certa area espressa da un determinato dipartimento: valori inferiori a 1 indicano una produzione

scientifica di qualità inferiore alla media, valori superiori a 1 indicano una qualità superiore alla

media.

41

4.2.3 Graduatorie dei Dipartimenti sulla base dei due indicatori

La Tabella 4.1 e la Tabella 4.2 contengono le graduatorie dei Dipartimenti post L240 e ante L240

divisi per dimensione dell’Ateneo in base al voto medio. Le tabelle non includono i Dipartimenti

con meno di 10 prodotti attesi. La Tabella 4.3 contiene gli analoghi dati per i Dipartimenti del

CNR con esclusione dei Dipartimenti con meno di 20 prodotti attesi. Il confronto tra le strutture

dipartimentali è necessariamente più complesso di quello tra Università e richiede, a nostro

avviso, una riflessione di medio periodo che non è compatibile con le tempistiche di questo

documento. Due aspetti possono, tuttavia, essere sottolineati a proposito, rispettivamente di

Dipartimenti Universitari e CNR. Nel primo caso, ci troviamo di fronte solo a strutture medie e

piccole (secondo i criteri discussi in precedenza). Mentre per le strutture piccole è difficile, per

ovvi motivi, svolgere considerazioni relative alla qualità media, per le strutture medie spiccano

(facendo riferimento esplicito alla situazione post L240) i risultati del Dipartimento di Scienze e

Tecnologie Chimiche dell’Università di Torvergata (0.95 per un numero di prodotto attesi di

circa 100), del Dipartimento di Farmacia dell’Università di Parma (0.94 per circa 70 prodotti

attesi) e del Dipartimento di Scienze dei Materiali dell’Università di Milano Bicocca (0.94 per

circa 50 prodotti attesi). L’altro aspetto generale che vogliamo sottolineare è che i Dipartimenti

del CNR si attestano su valutazioni abbastanza simili e vicine a quelle dei Dipartimenti

Universitari. Particolarmente lusinghieri sono i risultati del Dipartimento ICT del CNR e dell’IIT

(anche se in quest’ultimo caso vale il commento sull’entità dei finanziamenti fatto in un

paragrafo precedente), mentre andrebbero esaminate meglio le cause del risultato inferiore

dell’Istituto Nazionale di Ricerca Metrologica e del Dipartimento di Scienze Bio-Agro-

Alimentari del CNR. Infine, il Dipartimento di Scienze Chimiche e Tecnologie dei Materiali ha

dimensioni molto maggiori di quelle di tutti i Dipartimenti (e anche intere Università): a nostro

avviso una sua valutazione dovrebbe essere condotta a livello di singoli Istituti, le cui dimensioni

medie sono più vicine a quelle dei Dipartimenti Universitari.

Universi

tà

Dimen

sione dipartimento L.240

somma

punteggi

(v)

#

prodotti

attesi

(n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

% prodotti

penalizzati R

Bari M Chimica 109,20 126 0,87 67,46 21,43 5,56 5,56 0,00 1,09

Bari M Farmacia-Scienze del Farmaco 93,50 125 0,75 32,00 43,20 16,80 5,60 2,40 0,94

Bologna M Chimica “Giacomo Ciamician” 184,90 203 0,91 79,80 13,79 0,99 4,93 0,49 1,15

Bologna M

Chimica Industriale “Toso

Montanari” 133,70 154 0,87 63,64 26,62 4,55 4,55 0,65 1,09

Bologna M Farmacia e Biotecnologie 102,80 133 0,77 57,89 21,80 6,77 13,53 0,00 0,97

Cagliari M Scienze Chimiche e Geologiche 92,30 116 0,80 58,62 22,41 6,03 12,93 0,00 1,00

42

Calabria M

Chimica e Tecnologie Chimiche-

CTC 96,00 115 0,83 58,26 28,70 6,96 3,48 2,61 1,05

Catania M SCIENZE CHIMICHE 114,10 136 0,84 59,56 28,68 5,15 4,41 2,21 1,06

Catania M SCIENZE DEL FARMACO 67,20 104 0,65 34,62 27,88 16,35 20,19 0,96 0,81

Ferrara M Scienze chimiche e farmaceutiche 94,50 124 0,76 42,74 36,29 8,87 12,10 0,00 0,96

Firenze M Chimica “Ugo Schiff” 216,50 247 0,88 70,04 20,65 2,43 6,88 0,00 1,10

Genova M

Chimica e Chimica industriale

(DCCI) 90,70 110 0,82 65,45 17,27 7,27 10,00 0,00 1,04

Messina M SCIENZE CHIMICHE 77,50 110 0,70 37,27 36,36 10,00 14,55 1,82 0,89

Milano M Chimica 189,90 225 0,84 64,00 23,56 5,78 4,00 2,67 1,06

Milano M Scienze farmaceutiche 90,20 139 0,65 33,09 28,06 18,71 20,14 0,00 0,82

Modena

e

Reggio

Emilia M Scienze della vita 75,00 101 0,74 40,59 34,65 11,88 12,87 0,00 0,93

Napoli

Federico

II M Farmacia 158,00 195 0,81 55,38 28,21 7,69 7,18 1,54 1,02

Napoli

Federico

II M Scienze Chimiche 163,55 208 0,79 59,13 24,04 4,33 11,06 1,44 0,99

Padova M SCIENZE CHIMICHE 191,32 210 0,91 79,52 16,19 0,48 2,38 1,43 1,15

Palermo M

Scienze e Tecnologie Biologiche,

Chimiche e Farmaceutiche 106,70 161 0,66 36,02 30,43 12,42 20,50 0,62 0,83

Parma M CHIMICA 128,40 134 0,96 85,07 13,43 0,00 1,49 0,00 1,21

Pavia M CHIMICA 111,80 125 0,89 72,80 20,80 0,80 4,80 0,80 1,13

Perugia M n.d. 183,45 210 0,87 71,43 19,52 2,86 4,29 1,90 1,10

Pisa M

DIPARTIMENTO DI CHIMICA E

CHIMICA INDUSTRIALE 124,10 150 0,83 55,33 31,33 5,33 7,33 0,67 1,04

Roma

La

Sapienz

a M Chimica e tecnologie del farmaco 111,90 146 0,77 63,70 15,75 4,79 11,64 4,11 0,96

Roma

La

Sapienz

a M Chimica 192,38 233 0,83 56,22 29,61 6,01 7,73 0,43 1,04

Roma

Tor

Vergata M Scienze e Tecnologie Chimiche 96,85 102 0,95 79,41 18,63 0,98 0,00 0,98 1,19

Salerno M Chimica e Biologia 102,20 114 0,90 75,44 16,67 1,75 6,14 0,00 1,13

Sassari M Dipartimento di Chimica e Farmacia 87,30 128 0,68 46,88 24,22 9,38 14,06 5,47 0,86

Siena M Biotecnologie, Chimica e Farmacia 109,40 116 0,94 80,17 15,52 3,45 0,86 0,00 1,19

Torino M Chimica 172,60 205 0,84 64,88 23,41 3,41 7,80 0,49 1,06

Trieste M Scienze Chimiche e Farmaceutiche 105,60 130 0,81 60,00 25,38 3,08 11,54 0,00 1,02

Venezia M Scienze Molecolari e Nanosistemi 91,10 121 0,75 54,55 22,31 8,26 12,40 2,48 0,95

43

Cà

Foscari

Bari P n.d. 2,30 12 0,19 25,00 25,00 0,00 0,00 50,00 0,24

Bari

Politecn

ico P

Dipartimento di Ingegneria Civile,

Ambientale, del Territorio, Edile e di

Chimic 18,40 21 0,88 57,14 38,10 0,00 4,76 0,00 1,10

Basilicat

a P Scienze 59,80 79 0,76 41,77 39,24 7,59 8,86 2,53 0,95

Bologna P Scienze per la Qualità della Vita 9,40 11 0,85 54,55 27,27 18,18 0,00 0,00 1,08

Bologna P

Ingegneria Civile, Chimica,

Ambientale e dei Materiali 21,70 28 0,77 39,29 32,14 25,00 3,57 0,00 0,98

Bologna P n.d. 22,50 32 0,70 34,38 46,88 3,13 9,38 6,25 0,88

Brescia P

INGEGNERIA MECCANICA E

INDUSTRIALE 10,60 12 0,88 75,00 16,67 0,00 8,33 0,00 1,11

Cagliari P Scienze della Vita e dell'Ambiente 58,90 73 0,81 46,58 38,36 6,85 8,22 0,00 1,02

Cagliari P n.d. 3,70 12 0,31 16,67 33,33 8,33 25,00 16,67 0,39

Calabria P

Farmacia e Scienze della Salute e

della Nutrizione 27,40 38 0,72 26,32 47,37 15,79 10,53 0,00 0,91

Calabria P

Ingegneria per l'Ambiente e il

Territorio e Ingegneria Chimica 10,45 12 0,87 66,67 33,33 0,00 0,00 0,00 1,10

Camerin

o P

SCUOLA DI SCIENZE E

TECNOLOGIE 36,70 44 0,83 61,36 20,45 11,36 6,82 0,00 1,05

Camerin

o P

SCUOLA DI SCIENZE DEL

FARMACO E DEI PRODOTTI

DELLA SALUTE 40,55 50 0,81 62,00 16,00 12,00 8,00 2,00 1,02

Camerin

o P

SCUOLA DI SCIENZE

AMBIENTALI 6,40 12 0,53 25,00 25,00 16,67 33,33 0,00 0,67

Camerin

o P n.d. 5,40 17 0,32 29,41 17,65 5,88 17,65 29,41 0,40

Catania P

INGEGNERIA INDUSTRIALE

(DII) 10,00 17 0,59 17,65 29,41 35,29 17,65 0,00 0,74

Catanza

ro P Scienze della Salute 16,80 17 0,99 94,12 5,88 0,00 0,00 0,00 1,24

Chieti e

Pescara P DIPARTIMENTO DI FARMACIA 47,00 65 0,72 46,15 23,08 15,38 15,38 0,00 0,91

Ferrara P n.d. 11,10 15 0,74 60,00 13,33 6,67 20,00 0,00 0,93

Ferrara P Scienze della vita e biotecnologie 12,20 19 0,64 36,84 21,05 21,05 21,05 0,00 0,81

Firenze P

Neuroscienze, dell’Area del

Farmaco e della Salute del Bambino

– NEUROFARBA 41,00 58 0,71 32,76 43,10 8,62 13,79 1,72 0,89

Firenze P n.d. 7,50 19 0,39 31,58 26,32 0,00 15,79 26,32 0,50

Foggia P

SCIENZE AGRARIE, DEGLI

ALIMENTI E DELL'AMBIENTE 9,00 12 0,75 41,67 41,67 0,00 16,67 0,00 0,94

Genova P

Ingegneria civile,chimica e

ambientale (DICCA) 17,80 18 0,99 94,44 5,56 0,00 0,00 0,00 1,24

Genova P Farmacia (DIFAR) 47,30 72 0,66 43,06 22,22 13,89 16,67 4,17 0,83

44

Genova P n.d. 9,10 18 0,51 38,89 11,11 16,67 22,22 11,11 0,64

Insubria P Scienza e Alta Tecnologia 49,70 63 0,79 55,56 26,98 4,76 12,70 0,00 0,99

Insubria P Scienze Teoriche e Applicate 10,70 16 0,67 43,75 25,00 6,25 25,00 0,00 0,84

L'Aquila P Scienze fisiche e chimiche 30,80 38 0,81 57,89 28,95 5,26 2,63 5,26 1,02

Marche P

SCIENZE DELLA VITA E

DELL'AMBIENTE 14,20 18 0,79 33,33 50,00 11,11 5,56 0,00 0,99

Messina P

SCIENZE DEL FARMACO E

PRODOTTI PER LA SALUTE 51,50 58 0,89 81,03 8,62 1,72 8,62 0,00 1,12

Messina P

SCIENZE DELL'AMBIENTE,

DELLA SICUREZZA, DEL

TERRITORIO, DEGLI ALIMENTI

E DELLA S 18,40 22 0,84 50,00 36,36 9,09 4,55 0,00 1,05

Messina P

INGEGNERIA ELETTRONICA,

CHIMICA E INGEGNERIA

INDUSTRIALE 24,85 32 0,78 62,50 6,25 18,75 12,50 0,00 0,98

Milano P

Scienze per gli alimenti, la

nutrizione e l'ambiente 27,30 39 0,70 33,33 28,21 28,21 10,26 0,00 0,88

Milano

Bicocca P SCIENZA DEI MATERIALI 47,80 51 0,94 76,47 21,57 0,00 1,96 0,00 1,18

Milano

Bicocca P

BIOTECNOLOGIE E

BIOSCIENZE 32,10 37 0,87 59,46 32,43 2,70 5,41 0,00 1,09

Milano

Bicocca P

SCIENZE DELL'AMBIENTE E

DEL TERRITORIO E DI SCIENZE

DELLA TERRA 24,60 29 0,85 58,62 24,14 13,79 3,45 0,00 1,07

Milano

Politecn

ico P

Chimica, Materiali e Ingegneria

Chimica "Giulio Natta" 60,75 74 0,82 66,22 21,62 4,05 4,05 4,05 1,03

Modena

e

Reggio

Emilia P Scienze chimiche e geologiche 61,80 84 0,74 46,43 30,95 5,95 15,48 1,19 0,93

Modena

e

Reggio

Emilia P Ingegneria "Enzo Ferrari" 8,40 12 0,70 41,67 25,00 16,67 16,67 0,00 0,88

Molise P Bioscienze e Territorio 7,95 12 0,66 25,00 33,33 25,00 8,33 8,33 0,83

Napoli

Federico

II P

Ingegneria Chimica, dei Materiali e

della Produzione Industriale 16,30 25 0,65 28,00 44,00 4,00 24,00 0,00 0,82

Napoli

Federico

II P n.d. 6,40 18 0,36 33,33 16,67 5,56 27,78 16,67 0,45

Napoli

II P

SCIENZE E TECNOLOGIE

AMBIENTALI, BIOLOGICHE E

FARMACEUTICHE (DISTABiF) 20,20 26 0,78 38,46 34,62 23,08 3,85 0,00 0,98

Napoli

Parthen

ope P

DIPARTIMENTO DI SCIENZE E

TECNOLOGIE 5,90 10 0,59 30,00 30,00 10,00 30,00 0,00 0,74

45

Padova P SCIENZE DEL FARMACO 65,50 87 0,75 57,47 17,24 10,34 12,64 2,30 0,95

Padova P n.d. 8,95 12 0,75 41,67 33,33 8,33 8,33 8,33 0,94

Padova P INGEGNERIA INDUSTRIALE 9,80 20 0,49 35,00 30,00 5,00 5,00 25,00 0,62

Palermo P Fisica e Chimica 35,20 41 0,86 46,34 46,34 4,88 2,44 0,00 1,08

Palermo P n.d. 6,70 15 0,45 13,33 26,67 20,00 40,00 0,00 0,56

Parma P SCIENZE DEGLI ALIMENTI 29,20 32 0,91 78,13 12,50 6,25 3,13 0,00 1,15

Parma P FARMACIA 67,70 72 0,94 72,22 26,39 1,39 0,00 0,00 1,18

Pavia P SCIENZE DEL FARMACO 52,30 72 0,73 40,28 29,17 18,06 12,50 0,00 0,91

Pavia P n.d. 5,10 12 0,43 33,33 16,67 16,67 25,00 8,33 0,53

Piemont

e

Oriental

e P

Dipartimento di Scienze e

Innovazione Tecnologica (DISIT) 36,90 44 0,84 70,45 18,18 2,27 4,55 4,55 1,06

Piemont

e

Oriental

e P

Dipartimento di Scienze del

Farmaco 38,10 50 0,76 62,00 14,00 6,00 18,00 0,00 0,96

Pisa P DIPARTIMENTO DI FARMACIA 74,30 91 0,82 50,55 34,07 7,69 7,69 0,00 1,03

Roma

La

Sapienz

a P

Biologia e biotecnologie "Charles

Darwin" 11,10 13 0,85 38,46 53,85 7,69 0,00 0,00 1,07

Roma

La

Sapienz

a P

Scienze di base e applicate per

l'ingegneria 15,65 21 0,75 61,90 23,81 0,00 9,52 4,76 0,94

Roma

La

Sapienz

a P n.d. 9,60 19 0,51 42,11 10,53 15,79 15,79 15,79 0,64

Roma

Tre P Scienze 11,90 16 0,74 50,00 18,75 18,75 12,50 0,00 0,94

Salento P Ingegneria dell'Innovazione 11,60 12 0,97 83,33 16,67 0,00 0,00 0,00 1,22

Salento P

Scienze e Tecnologie Biologiche ed

Ambientali 24,20 32 0,76 31,25 59,38 0,00 3,13 6,25 0,95

Salerno P Farmacia 65,50 74 0,89 70,27 20,27 4,05 5,41 0,00 1,11

Salerno P Ingegneria Industriale 15,50 18 0,86 61,11 27,78 5,56 5,56 0,00 1,08

Siena P

Scienze Fisiche, della Terra e

dell’Ambiente 12,00 12 1,00 100,00 0,00 0,00 0,00 0,00 1,26

Teramo P

FACOLTA' DI BIOSCIENZE E

TECNOLOGIE AGRO-

ALIMENTARI E AMBIENTALI 16,20 18 0,90 66,67 22,22 11,11 0,00 0,00 1,13

Torino P n.d. 20,00 21 0,95 76,19 23,81 0,00 0,00 0,00 1,20

Torino P

Biotecnologie molecolari e scienze

per la salute 24,20 29 0,83 55,17 31,03 6,90 6,90 0,00 1,05

Torino P Scienza e tecnologia del farmaco 56,40 81 0,70 39,51 28,40 14,81 17,28 0,00 0,88

46

Torino

Politecn

ico P

SCIENZA APPLICATA E

TECNOLOGIA 27,60 33 0,84 66,67 21,21 0,00 12,12 0,00 1,05

Trento P Fisica 10,10 12 0,84 41,67 41,67 16,67 0,00 0,00 1,06

Tuscia P

Innovazione nei sistemi biologici,

agroalimentari e forestali 10,80 17 0,64 35,29 35,29 0,00 29,41 0,00 0,80

Udine P Scienze degli Alimenti 11,60 12 0,97 83,33 16,67 0,00 0,00 0,00 1,22

Udine P Chimica, Fisica e Ambiente 17,70 28 0,63 35,71 32,14 3,57 28,57 0,00 0,80

Urbino P

Dipartimento di Scienze

Biomolecolari 38,20 59 0,65 47,46 23,73 5,08 15,25 8,47 0,81

Urbino P

Dipartimento di Scienze di Base e

Fondamenti: Matematica,

Informatica, Fisica, 12,60 21 0,60 52,38 19,05 0,00 14,29 14,29 0,76

Urbino P

Dipartimento di Scienze della Terra,

della Vita e dell'Ambiente

(DiSTeVA) 11,00 12 0,92 58,33 41,67 0,00 0,00 0,00 1,15

Venezia

Cà

Foscari P

Scienze Ambientali, Informatica e

Statistica 24,40 34 0,72 32,35 38,24 17,65 11,76 0,00 0,90

Verona P BIOTECNOLOGIE 16,80 18 0,93 88,89 5,56 0,00 5,56 0,00 1,17

Tabella 4.1: Graduatorie dei dipartimenti post L. 240 divisi per dimensione dell'ateneo di appartenenza in base al numero di

prodotti attesi dall'Area 03: G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100) e ordinate per voto medio

(Primo indicatore I=v/n) all'interno delle Strutture elencate in ordine alfabetico. Per “somma punteggi (v)” si intende la

somma dei punteggi dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo indicatore "I") indica il

rapporto fra la somma dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione percentuale dei prodotti

conferiti all'Area 03 nelle quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) e dei prodotti

penalizzati. La tabella non include le strutture con meno di 10 prodotti attesi. R (Secondo indicatore) indica il rapporto tra il

voto medio ricevuto dai prodotti della Struttura e il voto medio ricevuto da tutti i prodotti dell'Area 03.

Università Dimensi

oni dipartimento ante L.240

somma

punteggi

(v)

#

prodotti

attesi

(n)

voto

medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

% prodotti

penalizzati R

Roma Tor

Vergata M

Dip. SCIENZE E

TECNOLOGIE CHIMICHE 96,85 102,00 0,95 79,41 18,63 0,98 0,00 0,98 1,19

Parma M

Dip. CHIMICA GENERALE

ED INORGANICA,

CHIMICA ANALITICA,

CHIMICA FISICA

101,50 107,00 0,95 83,18 14,02 0,93 1,87 0,00 1,19

Salerno M Dip. CHIMICA E

BIOLOGIA/DCB 101,20 111,00 0,91 76,58 17,12 1,80 4,50 0,00 1,15

Torino M Dip. CHIMICA I.F.M. 112,10 123,00 0,91 75,61 18,70 3,25 2,44 0,00 1,15

Bologna M Dip. CHIMICA 146,80 162,00 0,91 77,78 16,05 0,62 4,94 0,62 1,14

47

Padova M Dip. SCIENZE CHIMICHE 198,17 219,00 0,90 78,54 16,44 0,46 2,74 1,83 1,14

Perugia M Dip. CHIMICA 102,45 118,00 0,87 76,27 13,56 3,39 3,39 3,39 1,09

Firenze M Dip. CHIMICA 214,80 249,00 0,86 67,47 22,89 2,41 6,02 1,20 1,09

Bari M Dip. CHIMICA 100,60 117,00 0,86 65,81 23,08 5,13 5,98 0,00 1,08

Pavia M Dip. CHIMICA 116,90 137,00 0,85 69,34 20,44 2,19 6,57 1,46 1,07

Catania M Dip. SCIENZE CHIMICHE 114,10 136,00 0,84 59,56 28,68 5,15 4,41 2,21 1,06

Roma La

Sapienza M Dip. CHIMICA 193,38 234,00 0,83 56,41 29,49 5,98 7,69 0,43 1,04

Bologna M Dip. SCIENZE

FARMACEUTICHE 110,40 134,00 0,82 62,69 21,64 6,72 8,96 0,00 1,04

Trieste M Dip. SCIENZE CHIMICHE

E FARMACEUTICHE 104,00 127,00 0,82 61,42 24,41 3,15 11,02 0,00 1,03

Pisa M Dip. CHIMICA E CHIMICA

INDUSTRIALE 128,50 159,00 0,81 54,09 31,45 5,03 7,55 1,89 1,02

Genova M Dip. CHIMICA E CHIMICA

INDUSTRIALE 99,30 125,00 0,79 63,20 16,80 8,00 10,40 1,60 1,00

Modena e

Reggio Emilia M Dip. CHIMICA 83,50 110,00 0,76 48,18 31,82 5,45 13,64 0,91 0,96

Venezia Cà

Foscari M

Dip. SCIENZE

MOLECOLARI E

NANOSISTEMI

94,10 124,00 0,76 55,65 21,77 8,06 12,10 2,42 0,95

Roma La

Sapienza M

Dip. CHIMICA E

TECNOLOGIE DEL

FARMACO

118,00 161,00 0,73 60,87 15,53 5,59 12,42 5,59 0,92

Napoli Federico

II M Dip. CHIMICA 97,45 136,00 0,72 50,00 27,94 4,41 15,44 2,21 0,90

Bari M Dip. FARMACO CHIMICO 104,40 146,00 0,72 34,93 39,04 15,07 4,79 6,16 0,90

Palermo M

Dip. SCIENZE E

TECNOLOGIE

MOLECOLARI E

BIOMOLECOLARI

(STEMBIO)

88,60 132,00 0,67 37,12 28,03 15,15 19,70 0,00 0,84

Catania M Dip. SCIENZE DEL

FARMACO 65,70 107,00 0,61 33,64 27,10 15,89 19,63 3,74 0,77

Genova P

Dip. INGEGNERIA

CHIMICA E DI PROCESSO

"G.B. BONINO"

17,80 18,00 0,99 94,44 5,56 0,00 0,00 0,00 1,24

Catanzaro P Dip. SCIENZE DELLA

SALUTE 16,80 17,00 0,99 94,12 5,88 0,00 0,00 0,00 1,24

Milano P

Dip. CHIMICA

STRUTTURALE E

STEREOCHIMICA

INORGANICA

20,60 21,00 0,98 90,48 9,52 0,00 0,00 0,00 1,23

Siena P Dip. CHIMICA 50,00 51,00 0,98 90,20 9,80 0,00 0,00 0,00 1,23

Salento P Dip. INGEGNERIA 14,60 15,00 0,97 86,67 13,33 0,00 0,00 0,00 1,22

48

DELL'INNOVAZIONE

Udine P Dip. SCIENZE DEGLI

ALIMENTI 11,60 12,00 0,97 83,33 16,67 0,00 0,00 0,00 1,22

Piemonte

Orientale P

Dip. SCIENZE E

TECNOLOGIE AVANZATE 15,40 16,00 0,96 81,25 18,75 0,00 0,00 0,00 1,21

Parma P Dip. CHIMICA ORGANICA

E INDUSTRIALE 62,10 65,00 0,96 86,15 10,77 1,54 1,54 0,00 1,20

Parma P Dip. FARMACEUTICO 60,00 63,00 0,95 76,19 23,81 0,00 0,00 0,00 1,20

Urbino P

Dip. SCIENZE DELLA

TERRA, DELLA VITA E

DELL'AMBIENTE

(DISTEVA)

25,40 27,00 0,94 70,37 29,63 0,00 0,00 0,00 1,18

Milano Bicocca P Dip. SCIENZA DEI

MATERIALI 47,80 51,00 0,94 76,47 21,57 0,00 1,96 0,00 1,18

Verona P Dip. BIOTECNOLOGIE 16,80 18,00 0,93 88,89 5,56 0,00 5,56 0,00 1,17

Cagliari P

Dip. CHIMICA

INORGANICA E

ANALITICA

32,50 35,00 0,93 80,00 14,29 2,86 2,86 0,00 1,17

Siena P Dip. FARMACO CHIMICO

TECNOLOGICO 76,00 83,00 0,92 74,70 18,07 4,82 2,41 0,00 1,15

Perugia P

Dip. CHIMICA E

TECNOLOGIA DEL

FARMACO

61,30 67,00 0,91 77,61 16,42 1,49 4,48 0,00 1,15

Napoli Federico

II P

Dip. CHIMICA DELLE

SOSTANZE NATURALI 61,20 67,00 0,91 61,19 35,82 2,99 0,00 0,00 1,15

Teramo P Dip. SCIENZE DEGLI

ALIMENTI 16,20 18,00 0,90 66,67 22,22 11,11 0,00 0,00 1,13

Milano P Dip. CHIMICA FISICA ED

ELETTROCHIMICA 50,20 56,00 0,90 73,21 16,07 8,93 0,00 1,79 1,13

Messina P Dip. FARMACO-CHIMICO 55,80 63,00 0,89 79,37 9,52 3,17 7,94 0,00 1,11

Salerno P

Dip. SCIENZE

FARMACEUTICHE E

BIOMEDICHE/FARMABIO

MED

65,50 74,00 0,89 70,27 20,27 4,05 5,41 0,00 1,11

Brescia P

Dip. INGEGNERIA

MECCANICA E

INDUSTRIALE

10,60 12,00 0,88 75,00 16,67 0,00 8,33 0,00 1,11

Milano P Dip. CHIMICA ORGANICA

E INDUSTRIALE 76,30 87,00 0,88 62,07 29,89 3,45 4,60 0,00 1,10

Bari Politecnico P Dip. INGEGNERIA DELLE

ACQUE E DI CHIMICA 18,40 21,00 0,88 57,14 38,10 0,00 4,76 0,00 1,10

Calabria P

Dip. INGEGNERIA

CHIMICA E DEI

MATERIALI

10,45 12,00 0,87 66,67 33,33 0,00 0,00 0,00 1,10

Milano Bicocca P Dip. BIOTECNOLOGIE E

BIOSCIENZE 32,10 37,00 0,87 59,46 32,43 2,70 5,41 0,00 1,09

Salerno P Dip. INGEGNERIA 15,50 18,00 0,86 61,11 27,78 5,56 5,56 0,00 1,08

49

INDUSTRIALE/DIIN

Bologna P Dip. CHIMICA FISICA E

INORGANICA 71,50 84,00 0,85 59,52 29,76 3,57 7,14 0,00 1,07

Roma La

Sapienza P

Dip. BIOLOGIA E

BIOTECNOLOGIE 13,60 16,00 0,85 43,75 43,75 12,50 0,00 0,00 1,07

Milano Bicocca P

Dip. SCIENZE

DELL'AMBIENTE E DEL

TERRITORIO

24,60 29,00 0,85 58,62 24,14 13,79 3,45 0,00 1,07

Messina P

Dip. SCIENZE DEGLI

ALIMENTI E

DELL'AMBIENTE

21,20 25,00 0,85 52,00 36,00 8,00 4,00 0,00 1,07

Bologna P Dip. CHIMICA ORGANICA 59,30 70,00 0,85 62,86 22,86 8,57 4,29 1,43 1,07

Calabria P Dip. CHIMICA 83,00 98,00 0,85 58,16 28,57 8,16 4,08 1,02 1,07

Napoli Federico

II P

Dip. SCIENZE

BIOLOGICHE 16,00 19,00 0,84 63,16 26,32 10,53 0,00 0,00 1,06

Trento P Dip. FISICA 10,10 12,00 0,84 41,67 41,67 16,67 0,00 0,00 1,06

Napoli II P Dip. SCIENZE DELLA

VITA 8,40 10,00 0,84 50,00 30,00 20,00 0,00 0,00 1,06

Palermo P

Dip. INGEGNERIA

CHIMICA, GESTIONALE,

INFORMATICA,

MECCANICA

8,40 10,00 0,84 50,00 30,00 20,00 0,00 0,00 1,06

Torino

Politecnico P

Dip. SCIENZA DEI

MATERIALI E

INGEGNERIA CHIMICA

30,20 36,00 0,84 63,89 25,00 0,00 11,11 0,00 1,06

Camerino P

Dip. SCUOLA DI SCIENZE

DEL FARMACO E DEI

PRODOTTI DELLA

SALUTE

45,95 56,00 0,82 60,71 19,64 10,71 7,14 1,79 1,03

Bologna P

Dip. CHIMICA

INDUSTRIALE E DEI

MATERIALI

41,80 51,00 0,82 60,78 25,49 1,96 11,76 0,00 1,03

Salento P Dip. SCIENZA DEI

MATERIALI 9,80 12,00 0,82 41,67 50,00 0,00 8,33 0,00 1,03

L'Aquila P

Dip. CHIMICA,

INGEGNERIA CHIMICA E

MATERIALI

30,80 38,00 0,81 57,89 28,95 5,26 2,63 5,26 1,02

Pisa P Dip. SCIENZE

FARMACEUTICHE 71,30 88,00 0,81 48,86 35,23 7,95 7,95 0,00 1,02

Napoli Federico

II P

Dip. CHIMICA ORGANICA

E BIOCHIMICA 70,80 88,00 0,80 60,23 23,86 5,68 6,82 3,41 1,01

Bologna P

Dip. INGEGNERIA CIVILE,

AMBIENTALE E DEI

MATERIALI

24,70 31,00 0,80 45,16 29,03 22,58 3,23 0,00 1,00

Torino P Dip. CHIMICA ANALITICA 54,90 69,00 0,80 65,22 18,84 1,45 13,04 1,45 1,00

Milano

Politecnico P

Dip. CHIMICA,

MATERIALI E 60,75 77,00 0,79 63,64 20,78 3,90 7,79 3,90 0,99

50

INGEGNERIA CHIMICA

Marche P

Dip. SCIENZE DELLA

VITA E DELL'AMBIENTE

(DI.S.V.A.)

14,20 18,00 0,79 33,33 50,00 11,11 5,56 0,00 0,99

Ferrara P Dip. CHIMICA 64,50 82,00 0,79 48,78 30,49 10,98 9,76 0,00 0,99

Insubria P Dip. SCIENZA E ALTA

TECNOLOGIA 51,80 66,00 0,78 53,03 28,79 6,06 12,12 0,00 0,99

Piemonte

Orientale P

Dip. SCIENZE

DELL'AMBIENTE E

DELLA VITA

26,60 34,00 0,78 61,76 20,59 5,88 5,88 5,88 0,98

Genova P Dip. SCIENZE

FARMACEUTICHE 28,10 36,00 0,78 47,22 33,33 8,33 11,11 0,00 0,98

Torino P Dip. CHIMICA GENERALE

E CHIMICA ORGANICA 39,50 51,00 0,77 43,14 39,22 5,88 11,76 0,00 0,97

Perugia P Dip. INGEGNERIA CIVILE

ED AMBIENTALE 13,90 18,00 0,77 38,89 44,44 5,56 11,11 0,00 0,97

Milano P

Dip. SCIENZE

MOLECOLARI

AGROALIMENTARI

16,20 21,00 0,77 42,86 19,05 38,10 0,00 0,00 0,97

Piemonte

Orientale P

Dip. SCIENZE CHIMICHE

ALIMENTARI,

FARMACEUTICHE E

FARMACOLOGICHE

38,10 50,00 0,76 62,00 14,00 6,00 18,00 0,00 0,96

Basilicata P Dip. CHIMICA 62,40 82,00 0,76 41,46 40,24 7,32 8,54 2,44 0,96

Sassari P Dip. CHIMICA 60,30 80,00 0,75 60,00 20,00 6,25 6,25 7,50 0,95

Padova P Dip. SCIENZE

FARMACEUTICHE 67,60 90,00 0,75 55,56 18,89 11,11 12,22 2,22 0,95

Napoli Federico

II P

Dip. CHIMICA

FARMACEUTICA E

TOSSICOLOGICA

72,80 97,00 0,75 55,67 21,65 7,22 12,37 3,09 0,94

Roma La

Sapienza P

Dip. SCIENZE DI BASE ED

APPLICATE PER

L'INGEGNERIA

15,65 21,00 0,75 61,90 23,81 0,00 9,52 4,76 0,94

Foggia P

Dip. SCIENZE AGRO-

AMBIENTALI, CHIMICA E

DIFESA VEGETALE

13,40 18,00 0,74 38,89 44,44 0,00 16,67 0,00 0,94

Cagliari P Dip. FARMACO CHIMICO

TECNOLOGICO 56,30 76,00 0,74 46,05 34,21 6,58 10,53 2,63 0,93

Camerino P Dip. SCUOLA DI SCIENZE

E TECNOLOGIE 38,20 52,00 0,73 55,77 17,31 11,54 11,54 3,85 0,92

Calabria P Dip. SCIENZE

FARMACEUTICHE 40,40 55,00 0,73 36,36 41,82 10,91 7,27 3,64 0,92

Cagliari P Dip. SCIENZE CHIMICHE 66,10 90,00 0,73 45,56 30,00 7,78 16,67 0,00 0,92

Napoli II P Dip. SCIENZE

AMBIENTALI 13,90 19,00 0,73 26,32 42,11 26,32 5,26 0,00 0,92

Ferrara P Dip. SCIENZE

FARMACEUTICHE 46,70 64,00 0,73 39,06 37,50 7,81 15,63 0,00 0,92

51

Pavia P Dip. SCIENZE DEL

FARMACO 52,30 72,00 0,73 40,28 29,17 18,06 12,50 0,00 0,91

Modena e

Reggio Emilia P

Dip. SCIENZE

FARMACEUTICHE 48,50 67,00 0,72 35,82 37,31 13,43 13,43 0,00 0,91

Chieti e Pescara P Dip. SCIENZE DEL

FARMACO 47,00 65,00 0,72 46,15 23,08 15,38 15,38 0,00 0,91

Torino P

Dip. SCIENZA E

TECNOLOGIA DEL

FARMACO

66,70 93,00 0,72 39,78 31,18 13,98 15,05 0,00 0,90

Palermo P Dip. CHIMICA 62,20 87,00 0,71 37,93 39,08 5,75 16,09 1,15 0,90

Firenze P Dip. SCIENZE

FARMACEUTICHE 57,20 81,00 0,71 40,74 35,80 6,17 13,58 3,70 0,89

Insubria P

Dip. SCIENZE

BIOMEDICHE,

INFORMATICHE E DELLA

COMUNICAZIONE

(BICOM)

13,30 19,00 0,70 42,11 31,58 5,26 21,05 0,00 0,88

Modena e

Reggio Emilia P

Dip. INGEGNERIA DEI

MATERIALI E

DELL'AMBIENTE

8,40 12,00 0,70 41,67 25,00 16,67 16,67 0,00 0,88

Messina P

Dip. CHIMICA

INDUSTRIALE ED

INGEGNERIA DEI

MATERIALI

23,05 33,00 0,70 57,58 3,03 18,18 21,21 0,00 0,88

Messina P

Dip. CHIMICA

INORGANICA,CHIMICA

ANALITICA E CHIMICA

FISICA

52,80 76,00 0,69 32,89 40,79 10,53 13,16 2,63 0,87

Trieste P Dip. SCIENZE DELLA

VITA 8,30 12,00 0,69 25,00 50,00 8,33 16,67 0,00 0,87

Milano P Dip. SCIENZE

FARMACEUTICHE 65,80 98,00 0,67 33,67 31,63 16,33 18,37 0,00 0,84

Salento P

Dip. SCIENZE E

TECNOLOGIE

BIOLOGICHE ED

AMBIENTALI

11,40 17,00 0,67 11,76 76,47 0,00 0,00 11,76 0,84

Napoli Federico

II P

Dip. INGEGNERIA DEI

MATERIALI E DELLA

PRODUZIONE

14,70 22,00 0,67 31,82 40,91 4,55 22,73 0,00 0,84

Messina P Dip. CHIMICA ORGANICA

E BIOLOGICA 22,70 34,00 0,67 44,12 26,47 5,88 20,59 2,94 0,84

Milano P

Dip. CHIMICA

INORGANICA,

METALLORGANICA ED

ANALITICA

50,30 76,00 0,66 47,37 21,05 10,53 14,47 6,58 0,83

Roma Tre P Dip. INGEGNERIA

MECCANICA E 6,60 10,00 0,66 40,00 20,00 20,00 20,00 0,00 0,83

52

INDUSTRIALE

Milano P

Dip. SCIENZE

MOLECOLARI

APPLICATE AI

BIOSISTEMI

20,60 32,00 0,64 34,38 21,88 25,00 18,75 0,00 0,81

Napoli Federico

II P

Dip. SCIENZA DEGLI

ALIMENTI 15,30 24,00 0,64 37,50 25,00 12,50 25,00 0,00 0,80

Tuscia P

Dip. PER LA

INNOVAZIONE NEI

SISTEMI BIOLOGICI,

AGROALIMENTARI E

FORESTALI (DIBAF

10,80 17,00 0,64 35,29 35,29 0,00 29,41 0,00 0,80

Udine P Dip. CHIMICA,FISICA E

AMBIENTE (DCFA) 17,70 28,00 0,63 35,71 32,14 3,57 28,57 0,00 0,80

Bologna P

Dip. SCIENZA DEI

METALLI,

ELETTROCHIMICA E

TECNICHE CHIMICHE

11,70 19,00 0,62 47,37 21,05 5,26 15,79 10,53 0,77

Urbino P

Dip. SCIENZE DI BASE E

FONDAMENTI:

MATEMATICA,

INFORMATICA, FISICA,

CHIMICA, EPI

12,60 21,00 0,60 52,38 19,05 0,00 14,29 14,29 0,76

Catania P

Dip. INGEGNERIA

INDUSTRIALE E

MECCANICA

10,00 17,00 0,59 17,65 29,41 35,29 17,65 0,00 0,74

Venezia Cà

Foscari P

Dip. SCIENZE

AMBIENTALI,

INFORMATICA E

STATISTICA

23,40 40,00 0,58 27,50 32,50 17,50 15,00 7,50 0,74

Urbino P Dip. SCIENZE

BIOMOLECOLARI 26,80 47,00 0,57 40,43 23,40 6,38 19,15 10,64 0,72

Milano P

Dip. SCIENZE E

TECNOLOGIE

ALIMENTARI E

MICROBIOLOGICHE

8,30 15,00 0,55 13,33 40,00 20,00 26,67 0,00 0,70

Ferrara P Dip. BIOLOGIA ED

EVOLUZIONE 6,60 12,00 0,55 33,33 16,67 16,67 33,33 0,00 0,69

Sassari P Dip. SCIENZE DEL

FARMACO 32,90 60,00 0,55 28,33 30,00 11,67 23,33 6,67 0,69

Genova P

Dip. CHIMICA E

TECNOLOGIE

FARMACEUTICHE ED

ALIMENTARI

19,70 39,00 0,51 35,90 10,26 20,51 25,64 7,69 0,64

Padova P Dip. PROCESSI CHIMICI

DELL'INGEGNERIA 9,80 20,00 0,49 35,00 30,00 5,00 5,00 25,00 0,62

Marche P Dip. SCIENZE E 5,40 12,00 0,45 8,33 25,00 33,33 33,33 0,00 0,57

53

INGEGNERIA DELLA

MATERIA,

DELL'AMBIENTE E D

URBANISTICA (SIMAU)

Camerino P Dip. SCUOLA DI SCIENZE

AMBIENTALI 4,90 15,00 0,33 20,00 20,00 13,33 26,67 20,00 0,41

Tabella 4.2: Graduatorie dei dipartimenti ante L. 240 divisi per dimensione in base al numero di prodotti attesi dall'Area 03:

G=grandi (n ≥ 300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100) e ordinate per voto medio (Primo indicatore I=v/n)

all'interno delle Strutture elencate in ordine alfabetico. Per “somma punteggi (v)” si intende la somma dei punteggi dei

singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo indicatore "I") indica il rapporto fra la somma dei

punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle

quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) e dei prodotti penalizzati. La tabella non

include le strutture con meno di 10 prodotti attesi. R (Secondo indicatore) indica il rapporto tra il voto medio ricevuto dai

prodotti della Struttura e il voto medio ricevuto da tutti i prodotti dell'Area 03.

Ente sottostruttura

ente

dimen

sioni

somma

punteggi

(v)

# prodotti

attesi (n)

voto medio

(I=v/n)

%

prodotti

E

%

prodotti

B

%

prodotti

A

%

prodotti

L

%

prodotti

penalizz

ati

R

CNR

Scienze

chimiche e

tecnologie dei

materiali

G 1584,3 2289 0,69 46,70 26,47 9,13 10,40 7,30 0,99

CNR

Scienze

fisiche e

tecnologie

della materia

M 213,4 287 0,74 52,26 24,04 10,10 6,97 6,62 1,06

CNR Scienze

biomediche M 141,1 197 0,72 46,70 28,93 7,11 11,17 6,09 1,02

CNR

Scienze del

sistema Terra

e tecnologie

per l'ambiente

P 45,2 61 0,74 49,18 26,23 6,56 14,75 3,28 1,06

Istituto

Italiano di

Tecnologia

– IIT

n.d. P 40,5 45 0,9 77,78 11,11 6,67 4,44 0 1,28

CNR Scienze bio-

agroalimentari P 19,9 36 0,55 22,22 36,11 13,89 22,22 5,56 0,79

Fondazione

Edmund

MACH - S.

Michele

Dipartimento

qualità

alimentare e

nutrizione

P 27,2 28 0,97 85,71 14,29 0 0 0 1,38

54

all'Adige

(Trento)

Istituto

Nazionale

di Ricerca

Metrologica

Dipartimento P 9 22 0,41 18,18 22,73 9,09 50 0 0,58

Tabella 4.3: Graduatorie delle sottostrutture degli Enti di ricerca divisi per dimensione in base al numero di prodotti attesi

dall'Area 03: G=grandi (n ≥ 300), M=medi (299 ≥ n ≥ 100) e P=piccoli (n < 100) e ordinate per voto medio (Primo indicatore

I=v/n) all'interno delle Strutture elencate in ordine alfabetico. Per “somma punteggi (v)” si intende la somma dei punteggi

dei singoli prodotti; (n) indica il numero prodotti attesi; il voto medio (primo indicatore "I") indica il rapporto fra la somma

dei punteggi (v) dei prodotti e il numero (n) di prodotti attesi. Distribuzione percentuale dei prodotti conferiti all'Area 03 nelle

quattro classi di merito (Eccellente -E-, Buono -B-, Accettabile -A, Limitato -L-) e dei prodotti penalizzati. La tabella non

include le strutture con meno di 10 prodotti attesi. R (Secondo indicatore) indica il rapporto tra il voto medio ricevuto dai

prodotti della Struttura e il voto medio ricevuto da tutti i prodotti dell'Area 03.

4.3 L’indicatore IRD1i,j,k del Bando VQR

L’indicatore IRD1i,j,kè definito nel Bando VQR come rapporto tra il punteggio complessivo

raggiunto da un dipartimento in una data area rispetto alla valutazione complessiva dell’Area

stessa:

∑

Esso può essere scritto come il prodotto di un indicatore di qualità relativa dei prodotti presentati

da un certo dipartimento in una data area per un indicatore delle dimensioni del dipartimento

nella stessa area. L'indicatore di qualità è dato dal rapporto tra il voto medio ricevuto dai prodotti

del dipartimento k-esimo della struttura i-esima nell'area j-esima e il voto medio ricevuto da tutti

i prodotti dell'area j-esima, e corrisponde all'indicatore definito nella (9), mentre la

dimensione del dipartimento ( ) è data semplicemente dalla quota di prodotti dell'area j-

esima dovuti al dipartimento k-esimo della struttura i-esima:

∑

55

L’indicatore è quindi un indicatore che ridefinisce il peso di un certo dipartimentodi una

certa struttura in una certa area, misurato dalla quota dei prodotti attesi, sulla base della qualità

relativa dei prodotti attesi stessi. Come tale, IRD1 è un indicatore utile soprattutto per la

ripartizione dei fondi tra dipartimenti della stessa struttura in una medesima area, poiché tiene

conto insieme della qualità della ricerca e del peso relativo del dipartimento.

La Tabella 4.4 e la Tabella 4.5 contengono le graduatorie dei Dipartimenti post L240 e ante L240

divisi per dimensione dell’Ateneo in base all’indicatore IRD1. Le tabelle non includono i

dipartimenti con meno di 10 prodotti attesi. La Tabella 4.6 contiene gli analoghi dati per gli

Istituti del CNR.

Università Dimensioni dipartimento L.240

(n/N) x

100

IRD1

x 100

Firenze M Chimica “Ugo Schiff” 3,12 3,44

Roma La

Sapienza M Chimica 2,95 3,06

Milano M Chimica 2,84 3,02

Padova M SCIENZE CHIMICHE 2,66 3,04

Perugia M n.d. 2,66 2,92

Napoli Federico

II M Scienze Chimiche 2,63 2,60

Torino M Chimica 2,59 2,75

Bologna M Chimica “Giacomo Ciamician” 2,57 2,94

Napoli Federico

II M Farmacia 2,47 2,51

Palermo M Scienze e Tecnologie Biologiche, Chimiche e Farmaceutiche 2,04 1,70

Bologna M Chimica Industriale “Toso Montanari” 1,95 2,13

Pisa M DIPARTIMENTO DI CHIMICA E CHIMICA INDUSTRIALE 1,90 1,97

Roma La

Sapienza M Chimica e tecnologie del farmaco 1,85 1,78

Milano M Scienze farmaceutiche 1,76 1,44

Catania M SCIENZE CHIMICHE 1,72 1,82

Parma M CHIMICA 1,69 2,04

Bologna M Farmacia e Biotecnologie 1,68 1,64

Trieste M Scienze Chimiche e Farmaceutiche 1,64 1,68

Sassari M Dipartimento di Chimica e Farmacia 1,62 1,39

Bari M Chimica 1,59 1,74

Pavia M CHIMICA 1,58 1,78

Bari M Farmacia-Scienze del Farmaco 1,58 1,49

Ferrara M Scienze chimiche e farmaceutiche 1,57 1,50

56

Venezia Cà

Foscari M Scienze Molecolari e Nanosistemi 1,53 1,45

Siena M Biotecnologie, Chimica e Farmacia 1,47 1,74

Cagliari M Scienze Chimiche e Geologiche 1,47 1,47

Calabria M Chimica e Tecnologie Chimiche- CTC 1,45 1,53

Salerno M Chimica e Biologia 1,44 1,63

Genova M Chimica e Chimica industriale (DCCI) 1,39 1,44

Messina M SCIENZE CHIMICHE 1,39 1,23

Catania M SCIENZE DEL FARMACO 1,31 1,07

Roma Tor

Vergata M Scienze e Tecnologie Chimiche 1,29 1,54

Modena e

Reggio Emilia M Scienze della vita 1,28 1,19

Pisa P DIPARTIMENTO DI FARMACIA 1,15 1,18

Padova P SCIENZE DEL FARMACO 1,10 1,04

Modena e

Reggio Emilia P Scienze chimiche e geologiche 1,06 0,98

Torino P Scienza e tecnologia del farmaco 1,02 0,90

Basilicata P Scienze 1,00 0,95

Salerno P Farmacia 0,94 1,04

Milano

Politecnico P Chimica, Materiali e Ingegneria Chimica "Giulio Natta" 0,94 0,97

Cagliari P Scienze della Vita e dell'Ambiente 0,92 0,94

Parma P FARMACIA 0,91 1,08

Pavia P SCIENZE DEL FARMACO 0,91 0,83

Genova P Farmacia (DIFAR) 0,91 0,75

Chieti e Pescara P DIPARTIMENTO DI FARMACIA 0,82 0,75

Insubria P Scienza e Alta Tecnologia 0,80 0,79

Urbino P Dipartimento di Scienze Biomolecolari 0,75 0,61

Messina P SCIENZE DEL FARMACO E PRODOTTI PER LA SALUTE 0,73 0,82

Firenze P

Neuroscienze, dell’Area del Farmaco e della Salute del

Bambino – NEUROFARBA 0,73 0,65

Milano Bicocca P SCIENZA DEI MATERIALI 0,64 0,76

Camerino P

SCUOLA DI SCIENZE DEL FARMACO E DEI PRODOTTI

DELLA SALUTE 0,63 0,65

Piemonte

Orientale P Dipartimento di Scienze del Farmaco 0,63 0,61

Piemonte

Orientale P Dipartimento di Scienze e Innovazione Tecnologica (DISIT) 0,56 0,59

Camerino P SCUOLA DI SCIENZE E TECNOLOGIE 0,56 0,58

Palermo P Fisica e Chimica 0,52 0,56

Milano P Scienze per gli alimenti, la nutrizione e l'ambiente 0,49 0,43

L'Aquila P Scienze fisiche e chimiche 0,48 0,49

Calabria P Farmacia e Scienze della Salute e della Nutrizione 0,48 0,44

57

Milano Bicocca P BIOTECNOLOGIE E BIOSCIENZE 0,47 0,51

Venezia Cà

Foscari P Scienze Ambientali, Informatica e Statistica 0,43 0,39

Torino

Politecnico P SCIENZA APPLICATA E TECNOLOGIA 0,42 0,44

Parma P SCIENZE DEGLI ALIMENTI 0,40 0,46

Messina P

INGEGNERIA ELETTRONICA, CHIMICA E INGEGNERIA

INDUSTRIALE 0,40 0,40

Salento P Scienze e Tecnologie Biologiche ed Ambientali 0,40 0,39

Bologna P n.d. 0,40 0,36

Milano Bicocca P

SCIENZE DELL'AMBIENTE E DEL TERRITORIO E DI

SCIENZE DELLA TERRA 0,37 0,39

Torino P Biotecnologie molecolari e scienze per la salute 0,37 0,39

Bologna P Ingegneria Civile, Chimica, Ambientale e dei Materiali 0,35 0,35

Udine P Chimica, Fisica e Ambiente 0,35 0,28

Napoli II P

SCIENZE E TECNOLOGIE AMBIENTALI, BIOLOGICHE E

FARMACEUTICHE (DISTABiF) 0,33 0,32

Napoli Federico

II P Ingegneria Chimica, dei Materiali e della Produzione Industriale 0,32 0,26

Messina P

SCIENZE DELL'AMBIENTE, DELLA SICUREZZA, DEL

TERRITORIO, DEGLI ALIMENTI E DELLA S 0,28 0,29

Torino P n.d. 0,27 0,32

Bari Politecnico P

Dipartimento di Ingegneria Civile, Ambientale, del Territorio,

Edile e di Chimic 0,27 0,29

Roma La

Sapienza P Scienze di base e applicate per l'ingegneria 0,27 0,25

Urbino P

Dipartimento di Scienze di Base e Fondamenti: Matematica,

Informatica, Fisica, 0,27 0,20

Padova P INGEGNERIA INDUSTRIALE 0,25 0,16

Ferrara P Scienze della vita e biotecnologie 0,24 0,19

Roma La

Sapienza P n.d. 0,24 0,15

Firenze P n.d. 0,24 0,12

Genova P Ingegneria civile,chimica e ambientale (DICCA) 0,23 0,28

Verona P BIOTECNOLOGIE 0,23 0,27

Teramo P

FACOLTA' DI BIOSCIENZE E TECNOLOGIE AGRO-

ALIMENTARI E AMBIENTALI 0,23 0,26

Salerno P Ingegneria Industriale 0,23 0,25

Marche P SCIENZE DELLA VITA E DELL'AMBIENTE 0,23 0,23

Genova P n.d. 0,23 0,14

Napoli Federico

II P n.d. 0,23 0,10

Catanzaro P Scienze della Salute 0,21 0,27

Tuscia P Innovazione nei sistemi biologici, agroalimentari e forestali 0,21 0,17

Catania P INGEGNERIA INDUSTRIALE (DII) 0,21 0,16

Camerino P n.d. 0,21 0,09

58

Roma Tre P Scienze 0,20 0,19

Insubria P Scienze Teoriche e Applicate 0,20 0,17

Ferrara P n.d. 0,19 0,18

Palermo P n.d. 0,19 0,11

Roma La

Sapienza P Biologia e biotecnologie "Charles Darwin" 0,16 0,18

Siena P Scienze Fisiche, della Terra e dell’Ambiente 0,15 0,19

Udine P Scienze degli Alimenti 0,15 0,18

Salento P Ingegneria dell'Innovazione 0,15 0,18

Urbino P

Dipartimento di Scienze della Terra, della Vita e dell'Ambiente

(DiSTeVA) 0,15 0,18

Brescia P INGEGNERIA MECCANICA E INDUSTRIALE 0,15 0,17

Calabria P Ingegneria per l'Ambiente e il Territorio e Ingegneria Chimica 0,15 0,17

Trento P Fisica 0,15 0,16

Foggia P

SCIENZE AGRARIE, DEGLI ALIMENTI E

DELL'AMBIENTE 0,15 0,14

Padova P n.d. 0,15 0,14

Modena e

Reggio Emilia P Ingegneria "Enzo Ferrari" 0,15 0,13

Molise P Bioscienze e Territorio 0,15 0,13

Camerino P SCUOLA DI SCIENZE AMBIENTALI 0,15 0,10

Pavia P n.d. 0,15 0,08

Cagliari P n.d. 0,15 0,06

Bari P n.d. 0,15 0,04

Bologna P Scienze per la Qualità della Vita 0,14 0,15

Napoli

Parthenope P DIPARTIMENTO DI SCIENZE E TECNOLOGIE 0,13 0,09

Tabella 4.4: Graduatorie dei dipartimenti post L. 240 ordinati per IRD1 all'interno delle Struttura elencate in ordine

alfabetico. IRD1 è il primo indicatore di qualità della ricerca applicato ai dipartimenti definito nel Bando VQR come rapporto

tra il punteggio complessivo raggiunto da un dipartimento in una data area e la valutazione complessiva dell’area stessa. Le

graduatorie sono divise per dimensione delle Università in base al numero di prodotti (n) attesi dall'Area 03: G=grandi (n ≥

300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). La tabella non include i dipartimenti con meno di 10 prodotti attesi.

Università Dimensioni dipartimento pre L.240

(n/N) x

100

IRD1

x 100

Firenze M Dip. CHIMICA 3,15 3,42

Roma La

Sapienza M Dip. CHIMICA 2,96 3,08

59

Padova M Dip. SCIENZE CHIMICHE 2,77 3,15

Bologna M Dip. CHIMICA 2,05 2,34

Roma La

Sapienza M Dip. CHIMICA E TECNOLOGIE DEL FARMACO 2,04 1,88

Pisa M Dip. CHIMICA E CHIMICA INDUSTRIALE 2,01 2,04

Bari M Dip. FARMACO CHIMICO 1,85 1,66

Pavia M Dip. CHIMICA 1,73 1,86

Catania M Dip. SCIENZE CHIMICHE 1,72 1,82

Napoli Federico

II M Dip. CHIMICA 1,72 1,55

Bologna M Dip. SCIENZE FARMACEUTICHE 1,69 1,76

Palermo M

Dip. SCIENZE E TECNOLOGIE MOLECOLARI E

BIOMOLECOLARI (STEMBIO) 1,67 1,41

Trieste M Dip. SCIENZE CHIMICHE E FARMACEUTICHE 1,61 1,65

Genova M Dip. CHIMICA E CHIMICA INDUSTRIALE 1,58 1,58

Venezia Cà

Foscari M Dip. SCIENZE MOLECOLARI E NANOSISTEMI 1,57 1,50

Torino M Dip. CHIMICA I.F.M. 1,56 1,78

Perugia M Dip. CHIMICA 1,49 1,63

Bari M Dip. CHIMICA 1,48 1,60

Salerno M Dip. CHIMICA E BIOLOGIA/DCB 1,40 1,61

Modena e

Reggio Emilia P Dip. CHIMICA 1,39 1,33

Parma P

Dip. CHIMICA GENERALE ED INORGANICA, CHIMICA

ANALITICA, CHIMICA FISICA 1,35 1,62

Catania P Dip. SCIENZE DEL FARMACO 1,35 1,05

Roma Tor

Vergata P Dip. SCIENZE E TECNOLOGIE CHIMICHE 1,29 1,54

Calabria P Dip. CHIMICA 1,24 1,32

Milano P Dip. SCIENZE FARMACEUTICHE 1,24 1,05

Napoli Federico

II P Dip. CHIMICA FARMACEUTICA E TOSSICOLOGICA 1,23 1,16

Torino P Dip. SCIENZA E TECNOLOGIA DEL FARMACO 1,18 1,06

Padova P Dip. SCIENZE FARMACEUTICHE 1,14 1,08

Cagliari P Dip. SCIENZE CHIMICHE 1,14 1,05

Pisa P Dip. SCIENZE FARMACEUTICHE 1,11 1,13

Napoli Federico

II P Dip. CHIMICA ORGANICA E BIOCHIMICA 1,11 1,13

Milano P Dip. CHIMICA ORGANICA E INDUSTRIALE 1,10 1,21

Palermo P Dip. CHIMICA 1,10 0,99

Bologna P Dip. CHIMICA FISICA E INORGANICA 1,06 1,14

Siena P Dip. FARMACO CHIMICO TECNOLOGICO 1,05 1,21

Ferrara P Dip. CHIMICA 1,04 1,03

Basilicata P Dip. CHIMICA 1,04 0,99

60

Firenze P Dip. SCIENZE FARMACEUTICHE 1,02 0,91

Sassari P Dip. CHIMICA 1,01 0,96

Milano

Politecnico P Dip. CHIMICA, MATERIALI E INGEGNERIA CHIMICA 0,97 0,97

Cagliari P Dip. FARMACO CHIMICO TECNOLOGICO 0,96 0,90

Messina P

Dip. CHIMICA INORGANICA,CHIMICA ANALITICA E

CHIMICA FISICA 0,96 0,84

Milano P

Dip. CHIMICA INORGANICA, METALLORGANICA ED

ANALITICA 0,96 0,80

Salerno P

Dip. SCIENZE FARMACEUTICHE E

BIOMEDICHE/FARMABIOMED 0,94 1,04

Pavia P Dip. SCIENZE DEL FARMACO 0,91 0,83

Bologna P Dip. CHIMICA ORGANICA 0,89 0,94

Torino P Dip. CHIMICA ANALITICA 0,87 0,87

Perugia P Dip. CHIMICA E TECNOLOGIA DEL FARMACO 0,85 0,98

Napoli Federico

II P Dip. CHIMICA DELLE SOSTANZE NATURALI 0,85 0,97

Modena e

Reggio Emilia P Dip. SCIENZE FARMACEUTICHE 0,85 0,77

Insubria P Dip. SCIENZA E ALTA TECNOLOGIA 0,83 0,82

Parma P Dip. CHIMICA ORGANICA E INDUSTRIALE 0,82 0,99

Chieti e Pescara P Dip. SCIENZE DEL FARMACO 0,82 0,75

Ferrara P Dip. SCIENZE FARMACEUTICHE 0,81 0,74

Parma P Dip. FARMACEUTICO 0,80 0,95

Messina P Dip. FARMACO-CHIMICO 0,80 0,89

Sassari P Dip. SCIENZE DEL FARMACO 0,76 0,52

Milano P Dip. CHIMICA FISICA ED ELETTROCHIMICA 0,71 0,80

Camerino P

Dip. SCUOLA DI SCIENZE DEL FARMACO E DEI

PRODOTTI DELLA SALUTE 0,71 0,73

Calabria P Dip. SCIENZE FARMACEUTICHE 0,70 0,64

Camerino P Dip. SCUOLA DI SCIENZE E TECNOLOGIE 0,66 0,61

Siena P Dip. CHIMICA 0,64 0,80

Milano Bicocca P Dip. SCIENZA DEI MATERIALI 0,64 0,76

Bologna P Dip. CHIMICA INDUSTRIALE E DEI MATERIALI 0,64 0,67

Torino P Dip. CHIMICA GENERALE E CHIMICA ORGANICA 0,64 0,63

Piemonte

Orientale P

Dip. SCIENZE CHIMICHE ALIMENTARI,

FARMACEUTICHE E FARMACOLOGICHE 0,63 0,61

Urbino P Dip. SCIENZE BIOMOLECOLARI 0,59 0,43

Venezia Cà

Foscari P

Dip. SCIENZE AMBIENTALI, INFORMATICA E

STATISTICA 0,51 0,37

Genova P

Dip. CHIMICA E TECNOLOGIE FARMACEUTICHE ED

ALIMENTARI 0,49 0,31

L'Aquila P Dip. CHIMICA, INGEGNERIA CHIMICA E MATERIALI 0,48 0,49

Milano Bicocca P Dip. BIOTECNOLOGIE E BIOSCIENZE 0,47 0,51

Torino

Politecnico P Dip. SCIENZA DEI MATERIALI E INGEGNERIA CHIMICA 0,46 0,48

61

Genova P Dip. SCIENZE FARMACEUTICHE 0,46 0,45

Cagliari P Dip. CHIMICA INORGANICA E ANALITICA 0,44 0,52

Piemonte

Orientale P Dip. SCIENZE DELL'AMBIENTE E DELLA VITA 0,43 0,42

Messina P Dip. CHIMICA ORGANICA E BIOLOGICA 0,43 0,36

Messina P

Dip. CHIMICA INDUSTRIALE ED INGEGNERIA DEI

MATERIALI 0,42 0,37

Milano P Dip. SCIENZE MOLECOLARI APPLICATE AI BIOSISTEMI 0,40 0,33

Bologna P

Dip. INGEGNERIA CIVILE, AMBIENTALE E DEI

MATERIALI 0,39 0,39

Milano Bicocca P Dip. SCIENZE DELL'AMBIENTE E DEL TERRITORIO 0,37 0,39

Udine P Dip. CHIMICA,FISICA E AMBIENTE (DCFA) 0,35 0,28

Urbino P

Dip. SCIENZE DELLA TERRA, DELLA VITA E

DELL'AMBIENTE (DISTEVA) 0,34 0,40

Messina P Dip. SCIENZE DEGLI ALIMENTI E DELL'AMBIENTE 0,32 0,34

Napoli Federico

II P Dip. SCIENZA DEGLI ALIMENTI 0,30 0,24

Napoli Federico

II P

Dip. INGEGNERIA DEI MATERIALI E DELLA

PRODUZIONE 0,28 0,23

Milano P

Dip. CHIMICA STRUTTURALE E STEREOCHIMICA

INORGANICA 0,27 0,33

Bari Politecnico P Dip. INGEGNERIA DELLE ACQUE E DI CHIMICA 0,27 0,29

Milano P Dip. SCIENZE MOLECOLARI AGROALIMENTARI 0,27 0,26

Roma La

Sapienza P

Dip. SCIENZE DI BASE ED APPLICATE PER

L'INGEGNERIA 0,27 0,25

Urbino P

Dip. SCIENZE DI BASE E FONDAMENTI: MATEMATICA,

INFORMATICA, FISICA, CHIMICA, EPI 0,27 0,20

Padova P Dip. PROCESSI CHIMICI DELL'INGEGNERIA 0,25 0,16

Napoli Federico

II P Dip. SCIENZE BIOLOGICHE 0,24 0,25

Napoli II P Dip. SCIENZE AMBIENTALI 0,24 0,22

Insubria P

Dip. SCIENZE BIOMEDICHE, INFORMATICHE E DELLA

COMUNICAZIONE (BICOM) 0,24 0,21

Bologna P

Dip. SCIENZA DEI METALLI, ELETTROCHIMICA E

TECNICHE CHIMICHE 0,24 0,19

Genova P

Dip. INGEGNERIA CHIMICA E DI PROCESSO "G.B.

BONINO" 0,23 0,28

Verona P Dip. BIOTECNOLOGIE 0,23 0,27

Teramo P Dip. SCIENZE DEGLI ALIMENTI 0,23 0,26

Salerno P Dip. INGEGNERIA INDUSTRIALE/DIIN 0,23 0,25

Marche P

Dip. SCIENZE DELLA VITA E DELL'AMBIENTE

(DI.S.V.A.) 0,23 0,23

Perugia P Dip. INGEGNERIA CIVILE ED AMBIENTALE 0,23 0,22

Foggia P

Dip. SCIENZE AGRO-AMBIENTALI, CHIMICA E DIFESA

VEGETALE 0,23 0,21

Catanzaro P Dip. SCIENZE DELLA SALUTE 0,21 0,27

62

Salento P

Dip. SCIENZE E TECNOLOGIE BIOLOGICHE ED

AMBIENTALI 0,21 0,18

Tuscia P

Dip. PER LA INNOVAZIONE NEI SISTEMI BIOLOGICI,

AGROALIMENTARI E FORESTALI (DIBAF 0,21 0,17

Catania P Dip. INGEGNERIA INDUSTRIALE E MECCANICA 0,21 0,16

Piemonte

Orientale P Dip. SCIENZE E TECNOLOGIE AVANZATE 0,20 0,25

Roma La

Sapienza P Dip. BIOLOGIA E BIOTECNOLOGIE 0,20 0,22

Salento P Dip. INGEGNERIA DELL'INNOVAZIONE 0,19 0,23

Milano P

Dip. SCIENZE E TECNOLOGIE ALIMENTARI E

MICROBIOLOGICHE 0,19 0,13

Camerino P Dip. SCUOLA DI SCIENZE AMBIENTALI 0,19 0,08

Udine P Dip. SCIENZE DEGLI ALIMENTI 0,15 0,18

Brescia P Dip. INGEGNERIA MECCANICA E INDUSTRIALE 0,15 0,17

Calabria P Dip. INGEGNERIA CHIMICA E DEI MATERIALI 0,15 0,17

Trento P Dip. FISICA 0,15 0,16

Salento P Dip. SCIENZA DEI MATERIALI 0,15 0,16

Modena e

Reggio Emilia P Dip. INGEGNERIA DEI MATERIALI E DELL'AMBIENTE 0,15 0,13

Trieste P Dip. SCIENZE DELLA VITA 0,15 0,13

Ferrara P Dip. BIOLOGIA ED EVOLUZIONE 0,15 0,11

Marche P

Dip. SCIENZE E INGEGNERIA DELLA MATERIA,

DELL'AMBIENTE E D URBANISTICA (SIMAU) 0,15 0,09

Napoli II P Dip. SCIENZE DELLA VITA 0,13 0,13

Palermo P

Dip. INGEGNERIA CHIMICA, GESTIONALE,

INFORMATICA, MECCANICA 0,13 0,13

Roma Tre P Dip. INGEGNERIA MECCANICA E INDUSTRIALE 0,13 0,11

Tabella 4.5: Graduatorie dei dipartimenti ante L. 240 ordinati per IRD1 all'interno delle Struttura elencate in ordine

alfabetico. IRD1 è il primo indicatore di qualità della ricerca applicato ai dipartimenti definito nel Bando VQR come rapporto

tra il punteggio complessivo raggiunto da un dipartimento in una data area e la valutazione complessiva dell’area stessa. Le


300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). La tabella non include i dipartimenti con meno di 10 prodotti attesi.

63

ente sottostruttura

ente dimensioni

(n/N) x

100

IRD1 x

100

CNR

Scienze chimiche

e tecnologie dei

materiali

G 75,62 74,58

CNR

Scienze fisiche e

tecnologie della

materia

M 9,48 10,05

CNR Scienze

biomediche M 6,51 6,64

CNR

Scienze del

sistema Terra e

tecnologie per

l'ambiente

P 2,02 2,13

Istituto Italiano

di Tecnologia -

IIT

n.d. P 1,49 1,91

CNR Scienze bio-

agroalimentari P 1,19 0,94

Fondazione

Edmund MACH

- S. Michele

all'Adige

(Trento)

Dipartimento

qualità alimentare

e nutrizione

P 0,93 1,28

Istituto

Nazionale di

Ricerca

Metrologica

Dipartimento P 0,73 0,42

Tabella 4.6: Graduatorie delle sottostrutture ordinate per IRD1 all'interno degli Enti di ricerca elencati in ordine alfabetico.

IRD1 è il primo indicatore di qualità della ricerca applicato ai dipartimenti definito nel Bando VQR come rapporto tra il

punteggio complessivo raggiunto da un dipartimento in una data area e la valutazione complessiva dell’area stessa. Le


300), M=medie (299 ≥ n ≥ 100) e P=piccole (n < 100). La tabella non include le sottostrutture con meno di 19 prodotti attesi.

64

5. Analisi dei risultati

Come si è già detto, i prodotti ricevuti dall’area 03 sono stati più del 97% di quelli attesi.

Complessivamente, il voto medio (ovvero il rapporto fra la somma dei punteggi riportati dai

singoli prodotti e il numero di prodotti attesi) ottenuto dai prodotti dell’area 03 è stato circa 0.8

per Università e Consorzi, mentre per gli Enti di Ricerca il valore medio si è attestato a 0.7. La

distribuzione nelle classi di merito Eccellente: 57%, Buono: 26%, Accettabile: 7% e Limitato:

10% pone il 90% (E+B+C=90%) dei prodotti dell’area 03 al di sopra o sulla mediana di qualità

dei prodotti su scala internazionale. Da notare che la maggioranza dei prodotti (circa 98%)

conferiti dalle Strutture dell’area 03 è rappresentata da prodotti appartenenti alla tipologia

“articolo su rivista” e ha ottenuto una valutazione bibliometrica. Complessivamente, i prodotti

hanno ricevuto in peer valutazioni più basse di quelle bibliometriche.

Nonostante l’informazione sulla lingua di pubblicazione non sia stata fornita in maniera

consistente dalle strutture, il buon grado di internazionalizzazione dell’area 03 è dimostrato dalla

maggioranza dei prodotti ricevuti (>90%) che sono censiti dalle banche dati internazionali

utilizzate in questo esercizio di valutazione.

I brevetti hanno costituito solo lo 0.35% del totale dei prodotti sottomessi dalle Strutture. Ciò è in

contrasto con la qualità dei contenuti scientifici dei prodotti dell’area 03 e la loro potenziale

valorizzazione applicativa. Tuttavia, il voto medio ottenuto dai brevetti è stato discreto (0.6).

Un’analisi più approfondita di questi dati è stata fornita nella sezione 2.4.

I prodotti mancanti/penalizzati hanno costituito circa il 3% del numero complessivo dei prodotti

attesi dall’area 03 che, insieme a circa 10% dei prodotti valutati nella classe di merito Limitato

(prodotti sotto la mediana rispetto alla qualità dei prodotti su scala internazionale), ha penalizzato

il voto medio complessivo ottenuto dall’area 03. Da questo punto di vista il CNR (discusso in

maggiore dettaglio in un precedente paragrafo) e i Consorzi (esclusi INSTM e CSGI) hanno

ottenuto risultati significativamente peggiori (vedi Tabella 3.3).

La classificazione dei prodotti in base al voto medio pone tutte le Università (esclusa una) sopra

il valore di 0.65 e nel caso di alcune Università “medie” (Roma Tor Vergata, Parma, Siena) o

piccole (Catanzaro, Verona, Brescia, Teramo), nonché di Consorzi medi (INSTM, CSGI) o Enti

piccoli significativamente sopra il valore di 0.9.

La Tabella 5.1 riporta il numero di soggetti valutati attivi, non attivi, parzialmente attivi e

parzialmente inattivi delle Strutture con almeno 4 soggetti valutati.

65

Ente # SV # SV

Attivi

#

SV

NA

# SV

PA

# SV

PI

%

(NA+PA+PI)

Consorzio Interuniversitario Reattività Chimica e Catalisi -

CIRCC 42,00 32,00 6,00 4,00 0,00 23,81

Napoli Parthenope 6,00 5,00 1,00 0,00 0,00 16,67

CNR 574,00 512,00 8,00 28,00 26,00 10,80

Urbino 32,00 29,00 2,00 1,00 0,00 9,38

Sassari 47,00 43,00 3,00 0,00 1,00 8,51

L'Aquila 14,00 13,00 0,00 1,00 0,00 7,14

Basilicata 30,00 28,00 0,00 0,00 2,00 6,67

Salento 16,00 15,00 0,00 1,00 0,00 6,25

Genova 74,00 70,00 0,00 1,00 3,00 5,41

Camerino 47,00 45,00 1,00 1,00 0,00 4,26

Venezia Cà Foscari 56,00 54,00 2,00 0,00 0,00 3,57

Calabria 58,00 56,00 0,00 1,00 1,00 3,45

Milano Politecnico 29,00 28,00 1,00 0,00 0,00 3,45

Padova 117,00 113,00 2,00 2,00 0,00 3,42

Catania 92,00 89,00 2,00 0,00 1,00 3,26

Bari 96,00 93,00 2,00 0,00 1,00 3,13

Piemonte Orientale 36,00 35,00 0,00 1,00 0,00 2,78

Milano 145,00 141,00 1,00 0,00 3,00 2,76

Pavia 75,00 73,00 0,00 0,00 2,00 2,67

Roma La Sapienza 154,00 150,00 2,00 1,00 1,00 2,60

Perugia 78,00 76,00 0,00 2,00 0,00 2,56

Napoli Federico II 161,00 157,00 3,00 1,00 0,00 2,48

Firenze 121,00 118,00 1,00 1,00 1,00 2,48

Messina 82,00 80,00 0,00 1,00 1,00 2,44

Pisa 90,00 88,00 1,00 0,00 1,00 2,22

Bologna 202,00 199,00 0,00 1,00 2,00 1,49

Modena e Reggio Emilia 70,00 69,00 0,00 0,00 1,00 1,43

Palermo 87,00 86,00 0,00 0,00 1,00 1,15

Torino 119,00 118,00 0,00 1,00 0,00 0,84

Consorzio Interuniversitario Nazionale per la Scienza e Tecnologia

dei Materiali 50,00 50,00 0,00 0,00 0,00 0,00

Consorzio Nazionale Interuniversitario Metodologie e Processi

Innovativi di Sint 51,00 51,00 0,00 0,00 0,00 0,00

Laboratorio Europeo di Spettroscopia non Lineare 5,00 5,00 0,00 0,00 0,00 0,00

Roma Tor Vergata 37,00 37,00 0,00 0,00 0,00 0,00

Udine 15,00 15,00 0,00 0,00 0,00 0,00

Siena 50,00 50,00 0,00 0,00 0,00 0,00

Brescia 5,00 5,00 0,00 0,00 0,00 0,00

Istituto Nazionale di Ricerca Metrologica 4,00 4,00 0,00 0,00 0,00 0,00

Ferrara 55,00 55,00 0,00 0,00 0,00 0,00

66

Verona 8,00 8,00 0,00 0,00 0,00 0,00

Istituto Italiano di Tecnologia – IIT 17,00 17,00 0,00 0,00 0,00 0,00

Fondazione Edmund MACH - S. Michele all'Adige (Trento) 6,00 6,00 0,00 0,00 0,00 0,00

Consorzio Interuniversitario per lo Sviluppo dei Sistemi a Grande

Interfase – CS 60,00 60,00 0,00 0,00 0,00 0,00

Catanzaro 10,00 10,00 0,00 0,00 0,00 0,00

Consorzio Interuniversitario Istituto Nazionale Biostrutture e

Biosistemi – INBB 11,00 11,00 0,00 0,00 0,00 0,00

Insubria 30,00 30,00 0,00 0,00 0,00 0,00

Napoli II 12,00 12,00 0,00 0,00 0,00 0,00

Marche 11,00 11,00 0,00 0,00 0,00 0,00

Consorzio Interuniversitario di Ricerca in Chimica dei Metalli nei

Sistemi Biolo 57,00 57,00 0,00 0,00 0,00 0,00

Cagliari 71,00 71,00 0,00 0,00 0,00 0,00

Torino Politecnico 13,00 13,00 0,00 0,00 0,00 0,00

Chieti e Pescara 27,00 27,00 0,00 0,00 0,00 0,00

Teramo 7,00 7,00 0,00 0,00 0,00 0,00

Parma 82,00 82,00 0,00 0,00 0,00 0,00

Salerno 71,00 71,00 0,00 0,00 0,00 0,00

Trieste 49,00 49,00 0,00 0,00 0,00 0,00

Consorzio Interuniversitario Nazionale La Chimica per l'Ambiente

– INCA 35,00 35,00 0,00 0,00 0,00 0,00

Bari Politecnico 8,00 8,00 0,00 0,00 0,00 0,00

Foggia 6,00 6,00 0,00 0,00 0,00 0,00

Molise 6,00 6,00 0,00 0,00 0,00 0,00

Milano Bicocca 41,00 41,00 0,00 0,00 0,00 0,00

Trento 7,00 7,00 0,00 0,00 0,00 0,00

Roma Tre 8,00 8,00 0,00 0,00 0,00 0,00

Tuscia 10,00 10,00 0,00 0,00 0,00 0,00

Tabella 5.1: Numero di soggetti valutati attivi, non attivi, parzialmente attivi e parzialmente inattivi per struttura ordinati per

il numero di soggetti valutati (# SV) e per la percentuale dei soggetti valutati non pienamente attivi % (NA+PA+PI). La

colonna “# SV” indica il numero di soggetti valutati (SV) della struttura. Per soggetti valutati attivi (SV Attivi) si intendono i

soggetti valutati che hanno conferito un numero di prodotti uguale al numero di prodotti attesi. Per soggetti valutati non attivi

(SV NA) si intendono i soggetti valutati che non hanno presentato alcun prodotto. Per soggetti valutati parzialmente attivi (SV

PA) si intendono i soggetti valutati che non hanno presentato tutti i prodotti attesi ma un numero superiore alla metà. Per

soggetti valutati parzialmente inattivi (SV PI) si intendono i soggetti valutati che hanno presentato al più la metà dei prodotti

attesi. La colonna “% (NA+PA+PI)” rappresenta la percentuale di soggetti valutati non pienamente attivi ottenuta

considerando i non attivi (NA), i parzialmente attivi (PA) e i parzialmente inattivi (PI). La tabella non include le Strutture con

meno di 4 soggetti valutati.

Questi dati confermano in generali i commenti appena svolti e le considerazioni discusse nei

paragrafi precedenti.

67

6. Conclusioni

Nel Corso della VQR 2004-2010, il GEV03 si è attenuto al mandato ricevuto e ai contenuti del

“Documento dei criteri per la valutazione dei prodotti di ricerca dell’area 03” (Appendice B).

Sebbene l’esercizio di valutazione sia stato molto complesso e impegnativo, il GEV03 ritiene che

tale esercizio abbia posto solide basi metodologiche e culturali che possono favorire il

miglioramento della qualità della ricerca chimica italiana e delle Strutture in cui essa è svolta.

Una prima analisi dei dati bibliometrici a livello nazionale evidenzia una certa dispersione dei

ricercatori dell’area chimica. Infatti, nelle 51 Università si contano 113 Dipartimenti mono- e

multi-disciplinari in cui operano gruppi di ricerca ricadenti nell’area chimica (cioè, più di due

strutture con membri Chimici per Università). Se da una parte questo dato conferma la centralità

della Chimica nella ricerca scientifica, dall’altra apre la strada a una pericolosa frammentazione

dei gruppi di ricerca, delle loro competenze e delle infrastrutture (logistiche e strumentali). La

dispersione dei ricercatori causa, a sua volta, una frammentazione dei fondi di ricerca che sono

già drammaticamente ridotti. Ciò potrebbe comportare un impoverimento negli investimenti

strumentali e di conseguenza un’eccessiva dipendenza da “facilities” strumentali da reperire in

ambito internazionale. Il risultato complessivo potrebbe condurre a una degenerazione del

processo di internazionalizzazione che virerebbe da quello culturale a quello funzionale, legato

alla necessità di mero servizio strumentale.

A fronte della frammentazione dei gruppi di ricerca si nota una ridottissima dispersione del dato

qualitativo: considerando 50 delle 51 Università monitorate, il voto medio varia solamente da

0.98 a 0.65 indicando incontrovertibilmente che la qualità della ricerca chimica in Italia è di

standard elevato, ed omogeneamente distribuito su tutto il territorio nazionale. E’ importante

sottolineare una marcata dipendenza del ranking dal numero di prodotti attesi (che è in diretta

relazione con la numerosità dell’Area nelle singole Università). Questa dipendenza è prevedibile

perché Aree piccole hanno minori problemi con i prodotti penalizzati, che sono maggiormente

probabili al crescere della numerosità. E’ consigliabile quindi, analizzare i dati accorpandoli

nelle tre fasce (Grandi, Medie e Piccole) individuate dai seguenti intervalli del numero di

prodotti (n); n >300, 300>n >100, n<100. L’analisi dei dati dei singoli Dipartimenti, conferma il

ruolo trainante delle Scienze Chimiche anche in Dipartimenti non monotematici. Anche in

questo caso la dispersione del voto medio è ridotta: considerando un campione di 106 Università

su 113 si va da 1.00 a 0.49. Il dato dell’Area scorporato per singoli Dipartimenti è di grande

importanza per guidare le scelte future delle Università sul futuro dei Dipartimenti. La VQR

fornisce alle Università, che sapranno coglierne l’importanza, uno strumento fondamentale per

68

elaborare scelte strategiche fondamentali per il loro sviluppo sostenibile: dai possibili

accorpamenti tra Dipartimenti, al rafforzamento di specifici SSD trainanti. Scelte che potrebbero

rivelarsi decisive per il mantenimento o il raggiungimento di posizioni di prestigio.

L’omogeneità nella distribuzione territoriale della qualità della ricerca è infine ulteriormente

confermata dalla graduatoria delle struttura per voto medio dei soggetti valutati: in questo caso

l’intervallo dei voti per le 97 strutture valutate è compreso tra 1 e 0.7. In ultima analisi, il dato

pregnante derivante da questa analisi è che la ricerca Chimica in Italia presenta uno standard

elevato ed omogeneo: nell’analisi dei dati per Ateneo, sono pochi i casi (5 su 51) in cui il numero

di lavori classificati come eccellenti scende al di sotto del 40%.

L’esperienza di questa VQR, pur se generalmente positiva, suggerisce alcune proposte che

potrebbero, nell’opinione del GEV03, consentire un migliore giudizio del livello di qualità dei

prodotti della ricerca, negli esercizi valutativi futuri:

Introduzione, assieme agli altri criteri, del grado di proprietà dei prodotti presentati dai

soggetti valutati e dalle Strutture. Tale parametro, collegato alla posizione dell’autore

(primo, ultimo e autore corrispondente), sta assumendo sempre maggiore rilevanza nelle

consuetudini pubblicistiche dell'area 03.

Incremento del numero totale di prodotti pubblicati dalla Struttura nel periodo cui fa

riferimento l’esercizio valutativo. La valutazione di 1-6 prodotti/soggetto nei 7 anni in cui

ha operato la VQR porta inevitabilmente a una sottostima della capacità produttiva di

alcune Strutture e a un appiattimento del giudizio di valutazione.

Formulazione di un algoritmo diverso nei singoli anni della valutazione per una più

oggettiva definizione della qualità del prodotto.

Definizione più precisa delle tipologie dei prodotti della ricerca ammessi alla valutazione

allo scopo di diminuire la quota di prodotti “non valutabili” e le conseguenti penalità per

le Strutture.

Migliore definizione delle banche dati di riferimento per i brevetti, la cui valutazione è

stata particolarmente difficoltosa anche a causa dell’incompletezza della documentazione

ricevuta.

Revisione dell'assegnazione dei prodotti alle classi di merito E, B, A, L (paragrafo 2.4 del

Bando VQR 2004-2010), corrispondenti rispettivamente al 20%, 20%, 10% e 50% della

posizione della scala di valore condivisa dalla comunità scientifica internazionale. Il

GEV03 propone per il futuro la seguente ripartizione delle classi di merito: E=10%,

B=20%, A=30%, L= 40%. Anche i valori dei parametri bibliometrici (in particolare l’IF)

69

che delimitano le diverse aree dovrebbero essere rivisti e sicuramente innalzati nel caso

della classe E.

Maggiore interazione con aree molto correlate a quella chimica (ad esempio Struttura

della Materia dell’area 02, Biologia strutturale dell’area 05, Ingegneria Chimica dell’area

09).

Ripensamento della divisione in SSD in direzione dei macro-settori e/o dei settori ERC.

Considerazioni relative ad alcuni aspetti specifici sono riportate in Appendice C assieme ad

alcuni commenti elaborati dai membri stranieri del GEV03.

70

Appendice A. Il confronto tra valutazione peer e valutazione bibliometrica

A.1 Il campione casuale

Un campione casuale di 927 articoli su rivista passibili di valutazione bibliometrica è stato

estratto dalla popolazione di 10127 articoli, valutabili bibliometricamente, sottomessi alla

valutazione nel GEV03. Il campione è stato stratificato sulla base della distribuzione dei prodotti

all’interno dei 3 sub-GEV identificati nell’Area, ossia: Chimica analitica e Chimica-fisica;

Chimica inorganica e industriale; Chimica organica e farmaceutica. Il campione include il 9,2 %

dei prodotti di Chimica analitica e Chimica-fisica e di Chimica inorganica e industriale e il 9,1%

di quelli di Chimica organica e farmaceutica (Tabella A.1). Il campione è stato estratto ai primi

di settembre 2012, prima dell’inizio del processo di revisione peer, mediante una procedura

casuale con il vincolo di selezionare una proporzione significativa di prodotti in ciascun sub-

GEV.

Sub-GEV Popolazione Campione %

Chimica analitica e Chimica-fisica 3013 276 9,2

Chimica inorganica e industriale 3076 283 9,2

Chimica organica e farmaceutica 4038 368 9,1

Totale 10127 927 9,2

Tabella A.1: Distribuzione degli articoli su rivista nel campione e nella popolazione

La Tabella A.2 riporta la distribuzione nelle classi di valutazione VQR (Eccellente, Buono,

Accettabile, Limitato, Incerto (IR)) ottenuta utilizzando la valutazione bibliometrica degli articoli

su rivista nei tre sub-GEV, per il campione e per la popolazione. Come si vede, la distribuzione

delle valutazioni bibliometriche (E/ B/ A/ L/ IR) è sufficientemente vicina nella popolazione e

nel campione in tutti i sub-GEV del GEV03, così da concludere che il campione estratto è

rappresentativo della popolazione di riferimento.

71

Classe Popolazione % Campione %

Chimica analitica e Chimica-fisica

E 1624 53,9 147 53,3

B 561 18,6 46 16,7

A 75 2,5 5 1,8

L 252 8,4 20 7,2

IR 501 16,6 58 21,0

Chimica inorganica e industriale

E 1828 59,4 171 60,4

B 579 18,8 49 17,3

A 77 2,5 8 2,8

L 200 6,5 20 7,1

IR 392 12,7 35 12,4

Chimica organica e farmaceutica

E 1907 47,2 180 48,9

B 837 20,7 75 20,4

A 161 4,0 13 3,5

L 491 12,2 44 12,0

IR 642 15,9 56 15,2

Totale

E 5359 52,9 498 53,7

B 1977 19,5 170 18,3

A 313 3,1 26 2,8

L 943 9,3 84 9,1

IR 1535 15,2 149 16,1

Tabella A.2: Distribuzione delle valutazioni bibliometriche nel campione e nella popolazione

Per ciascun articolo su rivista incluso nel campione casuale sono disponibili le seguenti

informazioni:

Rapporto del primo revisore (P1)

Rapporto del secondo revisore (P2)

Rapporto di un eventuale terzo e quarto revisore (P3 e P4)

Valutazione di sintesi dei giudizi del primo e secondo revisore (P)

Valutazione bibliometrica (F)

72

Le variabili P e P1-P4 assumono come valore una delle 4 classi di valutazione E, B, A, L; la

valutazione bibliometrica F ha come possibile risultato anche la classe di valutazione “IR”, ossia

il suggerimento di procedere con la “informed peer review” nel caso di risultati molto diversi tra

i due indicatori bibliometrici (Impact Factor e numero citazioni, cfr. i criteri del GEV descritti

nell’Appendice B). Le quattro classi, secondo il Bando VQR, sono definite con riferimento ai

percentili della distribuzione della qualità degli articoli pubblicati nel mondo. In particolare, la

qualifica di eccellente corrisponde a un articolo che si colloca nel 20% superiore della

distribuzione della qualità degli articoli pubblicati nel mondo, quella di buono nel successivo

20%, di accettabile nel successivo 10% e, infine, quella di limitato nel 50% inferiore. Le variabili

P1-P4 sono originariamente misurate su una scala numerica compresa tra 3 e 27, con un

punteggio da 1 a 9 assegnato a 3 diversi criteri; tali punteggi sono successivamente utilizzati per

determinare per ciascun prodotto sottomesso a valutazione la classe di valutazione peer del

prodotto, sulla base dei criteri fissati dal GEV1; le variabili P ed F sono invece rispettivamente

espresse in termini delle 4 o 5 classi di valutazione sopra elencate. Sulla base del Bando VQR,

alle quattro classi E, B, A, L corrispondono rispettivamente i punteggi 1; 0,8; 0,5; 0.

La classificazione adottata nell’analisi bibliometrica si basa sui criteri descritti nell’Appendice B

di questo rapporto. Nella revisione dei pari, ai revisori esterni è stato richiesto di valutare ciascun

prodotto sulla base della loro percezione soggettiva della qualità del prodotto rispetto alla

distribuzione mondiale dei prodotti della ricerca nel settore scientifico a cui il prodotto faceva

riferimento. La valutazione dei revisori è stata quindi sintetizzata sulla base di un algoritmo

specifico al GEV03, secondo il quale, rispettivamente: i prodotti di classe E erano quelli con un

punteggio complessivo uguale o superiore a 23; i prodotti di classe B avevano un punteggio

complessivo compreso tra 18 e 22; i prodotti di classe A un punteggio complessivo compreso tra

15 e 17 e i prodotti di classe L un punteggio inferiore o uguale 15. Al fine di confrontare i

risultati della valutazione bibliometrica e della revisione tra pari, si procede nel seguito a

confrontare gli indicatori F e P. Anche altri confronti possono essere tuttavia di importanza

significativa: in particolare il confronto tra le valutazioni tra pari P1 e P2 consente di valutare il

grado di corrispondenza dei giudizi tra i due revisori2.

A.2 Le distribuzioni F e P

1 L’etichetta “P1”, “P2”, “P3” e “P4” assegnata ai revisori è puramente convenzionale e riflette esclusivamente

l’ordine di accettazione della proposta di revisione avanzata al potenziale revisore. 2 Nel GEV03, per 7 prodotti è stato necessario procedere anche ad una terza valutazione dei pari. La terza

valutazione non è stata qui considerata.

73

Le distribuzioni F e P sopra descritte non sono immediatamente confrontabili, dato che la

distribuzione F delle valutazioni bibliometriche comprende una classe IR che non è invece

prevista nella valutazione dei pari. E’ però possibile ipotizzare che una discordanza di almeno

due classi tra la valutazione del primo e secondo revisore segnali un’incertezza della revisione

dei pari del tutto analoga a quella che emerge dal confronto tra numero di citazioni e fattore di

impatto della sede di pubblicazione nell’analisi bibliometrica: in analogia con la classificazione

IR della valutazione bibliometrica, si è creata dunque una corrispondente classificazione “Incerta

Peer” (IP) per la valutazione dei pari, al fine di consentire il confronto tra le distribuzioni F e P.

La Tabella A.3 mostra la distribuzione in numeri assoluti e percentuali degli indicatori F e P

sopra descritti per il totale del campione del GEV03.

Valutazione bibliometrica (F) Valutazione peer (P)

E B A L IP Totale

E 162 231 22 17 66 498

% rispetto al totale delle valutazioni

bibliometriche di classe E 32,5 46,4 4,4 3,4 13,3 100,0

B 22 97 12 12 27 170


bibliometriche di classe B 12,9 57,1 7,1 7,1 15,9 100,0

A 1 12 6 6 1 26


bibliometriche di classe A 3,8 46,2 23,1 23,1 3,8 100,0

L 1 33 9 19 22 84


bibliometriche di classe L 1,2 39,3 10,7 22,6 26,2 100,0

IR 11 81 17 8 32 149


bibliometriche IR 7,4 54,4 11,4 5,4 21,5 100,0

Totale 197 454 66 62 148 927


bibliometriche 21,3 49,0 7,1 6,7 16,0 100,0

Tabella A.3: Confronto tra F e P – totale del campione

Gli elementi sulla diagonale principale della Tabella A.3 corrispondono ai casi in cui la

valutazione dei pari e quella bibliometrica coincidono. Gli elementi al di fuori della diagonale

principale corrispondono invece ai casi di non coincidenza tra F e P, o perché la valutazione F è

migliore della P (elementi al di sopra della diagonale principale) o viceversa (elementi al di sotto

74

della diagonale). La Tabella A.3 mostra che la discordanza tra la valutazione bibliometrica e

quella dei pari è dovuta ad una maggiore polarizzazione dei giudizi della bibliometria rispetto

alla revisione tra pari: infatti, sia gli articoli classificati eccellenti che quelli valutati limitati sono

in numero maggiore in base alla valutazione bibliometrica (498 e 84 articoli rispettivamente)

rispetto a quella dei pari (197 e 62 articoli). Dei 498 articoli classificati come E dall’analisi

bibliometrica, solo il 32,5% ottiene E anche secondo la revisione tra pari. Il numero di articoli

che sono classificati in B ed A dalla valutazione tra pari è particolarmente elevato (454 e 66

articoli rispettivamente) a confronto con gli articoli che risultano in B ed A secondo la

valutazione bibliometrica (170 e 26 articoli rispettivamente). Infine, la numerosità di valutazioni

incerte è analoga nei due casi: 149 e 148 casi rispettivamente secondo la bibliometria e la

revisione tra pari. Le valutazioni bibliometriche incerte hanno in circa il 62% dei casi una

valutazione almeno pari a B nell’analisi peer, e viceversa.

Complessivamente, l’analisi bibliometrica e la revisione tra pari coincidono nel 34% dei casi. Se

si sommano alle valutazioni coincidenti quelle che differiscono di una sola classe, si arriva al

66% del campione. Gli articoli con valutazioni che differiscono per due classi sono 68, il 7,3%

del campione, quelli con massima discordanza (ossia, che differiscono per 3 classi) sono 18

(l’1,9% del campione). Il restante 25% del campione ha una assegnazione IR o IP con uno dei

due metodi, e arriva invece ad una classe di assegnazione definita secondo l’altro metodo.

La Tabella A.4 mostra la distribuzione degli indicatori P1 e P2. Le valutazioni dei due revisori

coincidono nel 42,5% dei casi, sono diverse per una classe di valutazione nel 41,5% dei casi e

divergono invece rispettivamente per 2 o 3 classi di valutazione nel 12,1% e nel 3,9% dei casi. E’

da notare anche che le valutazioni su un giudizio di assegnazione alla classe E sono convergenti

in 150 casi, pari a circa il 52% del totale delle valutazioni eccellenti (290) fornite dal primo

revisore e a circa il 48% delle valutazioni eccellenti (313) del secondo revisore.

Le Tabelle A.5 e A.6 estendono i risultati delle Tabelle A.3 e A.4 ai singoli sub-GEV. In

particolare, dall’analisi dei dati della Tabella A.5 emerge che in tutti i sub-GEV il numero di

valutazioni eccellenti è maggiore secondo la valutazione bibliometrica rispetto alla peer; anche le

valutazioni limitate sono più frequenti secondo l’analisi bibliometrica nella Chimica analitica e

Chimica-fisica e nella Chimica organica-industriale, mentre la frequenza dei giudizi di limitato si

equivale tra i due metodi di valutazione nella Chimica inorganica e industriale. D’altra parte, il

numero di valutazioni buone e accettabili è sempre maggiore secondo l’analisi peer rispetto a

quella bibliometrica. Complessivamente, la tendenza della valutazione bibliometrica ad essere

più vantaggiosa rispetto a quella peer è comune a tutti i sub-GEV (un test formale di tale ipotesi

è presentato nella sezione A.3). I casi di discordanza di due classi o più tra le due valutazioni

75

sono più frequenti in Chimica organica e farmaceutica (10,3%) rispetto a Chimica analitica e

Chimica-fisica (8,3%) e a Chimica inorganica e industriale (8,9%).

P1 P2

E B A L Totale

E 150 101 19 20 290

% rispetto al totale delle valutazioni di

classe E del primo revisore 51,7 34,8 6,6 6,9 100,0

B 126 199 60 34 419


classe B del primo revisore 30,1 47,5 14,3 8,1 100,0

A 21 55 20 20 116


classe A del primo revisore 18,1 47,4 17,2 17,2 100,0

L 16 38 23 25 102


classe L del primo revisore 15,7 37,3 22,5 24,5 100,0

Totale 313 393 122 99 927

% rispetto al totale delle valutazioni del

primo revisore 33,8 42,4 13,2 10,7 100,0

Tabella A.4: Confronto tra le valutazioni P1 e P2 – totale del campione



E B A L IP Totale

E 56 59 7 4 21 147



B 7 28 3 1 7 46



A 0 1 1 3 0 5



76

L 0 11 0 3 6 20


bibliometriche di classe L 4 28 10 2 13 57,0

IR 4 29 10 2 13 58



Totale 67 128 21 13 47 276


bibliometriche 24,3 46,4 7,6 4,7 17,0 100,0



E B A L IP Totale

E 55 81 8 8 19 171



B 8 26 4 4 7 49



A 0 5 2 1 0 8



L 1 4 6 6 3 20



IR 5 21 1 1 7 35



Totale 69 137 21 20 36 283


bibliometriche 24,4 48,4 7,4 7,1 12,7 100,0



E B A L IP Totale

E 51 91 7 5 26 180



B 7 43 5 7 13 75

77



A 1 6 3 2 1 13



L 0 18 3 10 13 44



IR 2 31 6 5 12 56



Totale 61 189 24 29 65 368


bibliometriche 16,6 51,4 6,5 7,9 17,7 100,0

Tabella A.5: Confronto tra F e P per sub-GEV

La Tabella A.6 estende i risultati della Tabella A.4 ai singoli sub-GEV. In particolare,

dall’analisi emerge che la convergenza nelle valutazioni dei due revisori è più elevata nella

Chimica organica e farmaceutica (44,6% dei casi) rispetto alla Chimica analitica e chimico-fisica

(39,8%) e alla Chimica inorganica e industriale (42,4%). Le divergenze per almeno 2 classi di

valutazione sono più elevate nella Chimica organica e farmaceutica e alla Chimica analitica e

chimico-fisica (17,6% e 17% dei casi rispettivamente) rispetto alla Chimica Inorganica e

Industriale (12,7%). E’ da notare anche che le valutazioni su un giudizio di assegnazione alla

classe E sono convergenti in più della metà dei casi in tutti e tre i sub-GEV considerati.


P1 P2

E B A L Totale

E 53 30 9 8 100


classe E del primo revisore 53,0 30,0 9,0 8,0 100

B 37 46 17 6 106


classe B del primo revisore 34,9 43,4 16,0 5,7 100

A 4 24 6 7 41

78


classe A del primo revisore 9,8 58,5 14,6 17,1 100

L 8 12 4 5 29


classe L del primo revisore 27,6 41,4 13,8 17,2 100

Totale 102 112 36 26 276


del primo revisore 37,0 40,6 13,0 9,4 100


P1 P2

E B A L Totale

E 51 40 5 3 99



B 40 53 22 8 123



A 8 16 4 3 31



L 4 8 6 12 30



Totale 103 117 37 26 283




P1 P2

E B A L Totale

E 46 31 5 9 91



B 49 100 21 20 190



79

A 9 15 10 10 44



L 4 18 13 8 43



Totale 108 164 49 47 368



Tabella A.6: Confronto tra le valutazioni P1 e P2 per sub-GEV

A.3 Il confronto tra le distribuzioni di F e P

Il confronto tra la valutazione dei pari e quella bibliometrica si può basare su due criteri

fondamentali:

1. Grado di concordanza tra la distribuzione F e la distribuzione P, ossia se F e P tendono ad

assegnare lo stesso punteggio ad ogni articolo

2. Grado di differenza sistematica esistente tra F e P misurata mediante la differenza media

del punteggio assegnato da F e P sulla base dei pesi attribuiti alle classi della VQR.

Ovviamente, una perfetta concordanza implica anche la non esistenza di differenze sistematiche

tra F e P, ma il contrario non è necessariamente vero, e in generale i due criteri misurano due

diversi aspetti della differenza esistente tra le due distribuzioni. Si consideri ad esempio una

distribuzione con un basso grado di concordanza tra F e P (molti articoli ricevono differenti

valutazioni F e P). Anche in tale caso può accadere che, in media, F e P forniscano un punteggio

complessivo simile. Questa distribuzione sarebbe caratterizzata da un basso livello di

concordanza e da un basso grado di differenza sistematica: adottare uno dei due metodi di

valutazione (per esempio quella bibliometrica, F) comporterebbe una frequente differenza di

valutazione degli articoli sulla base della bibliometria e della valutazione peer (ossia, si

avrebbero molti articoli con una buona valutazione in base a F, ma una peggiore valutazione in

base a P, o viceversa).

Alternativamente, si consideri un caso di elevata (ma non perfetta) concordanza tra F e P. In

questo caso, potrebbe ancora succedere che, per esempio, il numero di articoli con

classificazione elevata sia sistematicamente maggiore in F che in P. In questo caso si avrebbe un

elevato grado di concordanza, ma anche un alto grado di differenza sistematica tra le due

distribuzioni, dato che il punteggio medio attribuito da F differirebbe dal punteggio medio di P.

Adottare uno dei due metodi di valutazione può risultare in una sopravalutazione (o

80

sottovalutazione) in relazione all’altro criterio: ossia, gli articoli riceverebbero un punteggio

notevolmente diverso se valutati con F o con P.

Da un punto di vista statistico, il grado di concordanza tra F e P può essere misurato utilizzando

la statistica K di Cohen; differenze sistematiche tra F e P possono invece essere misurate

guardando alle differenze tra le medie delle distribuzioni e valutandone la significatività con un

test t di Student.

A.3.1 Il grado di concordanza tra le distribuzioni F e P

La Tabella A.7 riporta i valori della statistica K di Cohen, calcolati per l’intero campione e

separatamente per ciascun sub-GEV. I risultati sono riferiti a campioni omogenei (paired

sample), ossia ai prodotti del campione per i quali sono disponibili sia i risultati della valutazione

peer sia quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per

i quali la valutazione bibliometrica fornisce come risultato una classificazione IR; nel caso del

GEV di Chimica, le osservazioni a disposizione si riducono a 778. La statistica K è costruita in

modo tale da essere pari a zero quando la concordanza tra due (o più) valutazioni è del tutto

casuale, vale a dire nel caso in cui le valutazioni siano indipendenti l’una dall’altra; la statistica

assume invece valore pari ad 1 nel caso in cui ci sia perfetta concordanza. E’ possibile calcolare

il test utilizzando una matrice standard di pesi lineari (1; 0,67; 0,33; 0) attribuiti ai casi di

concordanza, discordanza di una classe e così via, rispettivamente. In questo caso, nel totale del

campione, K è uguale a 0,22, un valore statisticamente diverso da zero agli usuali livelli di

significatività. Il grado di concordanza nei 3 sub-GEV presenta valori vicini a quelli registrati per

l’intero campione, e comunque sempre statisticamente diversi da zero ad un livello di confidenza

dell’1%.

Come accennato sopra, il calcolo di K riportato nella prima riga della tabella usa pesi lineari. E’

possibile argomentare che nel nostro caso i pesi appropriati da utilizzare debbano però essere

quelli suggeriti dalle regole della VQR. In particolare, è possibile calcolare la distanza tra le

valutazioni utilizzando i punteggi numerici della VQR (1; 0,8; 0,5; 0), associati con le

valutazioni qualitative (E; B; A; L). La seconda riga della Tabella A.7 riporta i valori della

statistica K calcolati utilizzando i pesi della VQR. I risultati mostrano che in questo caso la

concordanza è maggiore o uguale rispetto alle valutazioni basate su pesi lineari, a conferma del

buon grado di concordanza sia nel totale del campione che in ciascun sub-GEV.

81

Test Totale

campione

Chimica

analitica e

chimico-fisica

Chimica

inorganica e

industriale

Chimica

organica e

farmaceutica

F e P, pesi lineari 0,2246 (10,67)* 0,2261 (5,65)* 0,2024 (5,62)* 0,2304 (6,87)*

F e P, pesi VQR 0,2296 (10,42)* 0,2192 (5,47)* 0,2158 (5,73)* 0,2368 (6,59)*

P1 e P2, pesi lineari 0,2501 (10,02)* 0,2143 (4,47)* 0,2824 (6,35)* 0,2394 (6,18)*

P1 e P2, pesi VQR 0,2381 (9,60)* 0,1974 (4,22)* 0,2996 (6,84)* 0,2107 (5,34)*

Nota: La tabella riporta la statistica K e in parentesi il valore z3 ad essa associato. La presenza di

un asterisco indica la significatività del test al livello dell’1%

Tabella A.7: Statistica K di Cohen sul grado di concordanza

La Tabella A.7 riporta anche la statistica K per il grado di concordanza tra i due revisori (P1 e

P2), sia per il totale del campione che per i singoli sub-GEV. Nel complesso del campione, il

grado di concordanza tra la valutazione bibliometrica (F) e la revisione peer (P) è molto simile a

quello esistente tra i giudizi formulati tra i due revisori esterni: in quest’ultimo caso, la statistica

K calcolata con pesi lineari è pari a 0,25 (0,24 con i pesi della VQR). Analoghi risultati si hanno

a livello dei singoli sub-GEV. Il test z associato conduce sempre a rifiutare l’ipotesi nulla di non

concordanza ad un livello di significatività dell’1%.

A.3.2 Il grado di differenza sistematica tra le distribuzioni F e P

La Tabella A.8 riporta il punteggio medio risultante dalle valutazioni F e P. I valori numerici

sono ottenuti sommando i pesi assegnati dalla VQR alle quattro classi di merito e dividendo per

il numero degli articoli valutati. Si noti ancora una volta come, date le regole della VQR, gli

scarti tra F e P non abbiano lo stesso peso: ad esempio, la differenza tra L e A ha un peso di 0,5,

mentre la differenza tra E e B ha un peso pari solo a 0,2. Come nel caso delle analisi contenute

nella sezione precedente, i risultati riportati sono riferiti a campioni omogenei (paired sample),

ossia ai prodotti del campione per i quali sono disponibili sia i dati della valutazione peer sia

quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per i quali

3 Il test z verifica se K è statisticamente pari a zero assumendone una distribuzione Gaussiana, o normale. Si calcola

dividendo il valore di K per il suo errore standard. Se il valore di z è superiore al valore-soglia della distribuzione

normale corrispondente a una certa probabilità, si conclude che la statistica K è statisticamente diversa da zero, ossia

che le due valutazioni non sono indipendenti l’una dall’altra e mostrano quindi un grado statisticamente significativo

di concordanza.

82

la valutazione bibliometrica fornisce come risultato una classificazione IR. Come ricordato

sopra, gli articoli a disposizione in questo caso sono 778.

La terza colonna mostra che il punteggio medio finale della revisione peer (punteggio P) è pari a

0,742: il punteggio medio in Chimica inorganica e industriale (0,741) è sostanzialmente in linea

con quello medio complessivo, mentre in Chimica organica e farmaceutica (0,719) e in Chimica

analitica e Chimica-fisica (0,776) i punteggi sono rispettivamente inferiori o superiori alla media

generale. Le differenze tra i sub-GEV che emergono dall’analisi dei dati della terza colonna della

tabella possono essere attribuite:

A una migliore qualità degli articoli sottomessi alla valutazione in Chimica analitica e

Chimica-fisica rispetto a quella degli articoli degli altri sub-GEV

A una maggiore generosità dei revisori di Chimica analitica e Chimica-fisica rispetto

agli altri

All’intrinseca variabilità statistica nella scelta del campione.

La quarta colonna contiene il punteggio medio ottenuto nella valutazione bibliometrica: tale

punteggio è pari a 0,832 per la media complessiva dei lavori sottoposti al GEV03, risultando

inferiore alla media nella Chimica organica e farmaceutica (0,790) e superiore alla media nella

Chimica analitica e Chimica-fisica (0,855) e nella Chimica inorganica e industriale (0,864).

L’ordinamento dei sub-GEV in base alla qualità degli articoli presentati è diverso a seconda che

si consideri l’analisi bibliometrica e quella peer: in ambedue i casi, la Chimica organica e

farmaceutica riceve la valutazione peggiore, ma la Chimica inorganica e industriale prevale sulla

Chimica analitica e Chimica-fisica secondo la valutazione bibliometrica, e viceversa secondo la

valutazione dei pari. Il risultato più interessante dell’analisi è mostrato nella quinta colonna, che

presenta la differenza tra valutazione peer e bibliometrica, con le colonne 7-8 che riportano il

risultato del test t per campioni di uguale ampiezza ad esso associato. Nel totale del campione,

emerge una differenza sistematica tra la valutazione bibliometrica e la valutazione peer: più

precisamente, la valutazione media ottenuta con l’analisi bibliometrica è statisticamente

maggiore di quella ottenuta con la valutazione peer. Il risultato è confermato anche per i dati

riferiti ai tre sub-GEV considerati.

83

Sub-GEV Punteggio

P1

Punteggio

P2 Punteggio P

Punteggio

F Diff F-P

#

Osservazioni Test t p-value

Chimica

analitica e

chimico-fisica

0,767 0,775 0,776 0,855 0,078 218 3,764 0,000

Chimica

inorganica e

industriale

0,753 0,763 0,741 0,864 0,123 248 6,195 0,000

Chimica

organica e

farmaceutica

0,714 0,737 0,719 0,790 0,071 312 3,580 0,000

Totale 0,741 0,756 0,742 0,832 0,090 778 7,632 0,000

Tabella A.8: Test t sulla differenza tra i punteggi bibliometrici e peer review

A.4 Conclusioni

Nel totale del campione dei prodotti del GEV03 conferiti per la valutazione, si riscontra una più

che adeguata concordanza tra valutazioni effettuate con il metodo della revisione tra pari e con

quello bibliometrico. Inoltre, il grado di concordanza tra valutazione finale bibliometrica e peer è

molto simile al grado di concordanza tra le due valutazioni peer. D’altro lato, però, emerge una

chiara evidenza di differenze sistematiche tra i punteggi corrispondenti alle valutazioni peer e

bibliometriche. In effetti, è possibile osservare come il numero di prodotti della ricerca

classificati come eccellenti (E) con l’algoritmo di valutazione bibliometrica sia superiore a quello

dei prodotti eccellenti secondo la valutazione tra pari.

Il grado di concordanza tra valutazioni peer e valutazioni bibliometriche è elevato in tutti i sub-

GEV. Le differenze sistematiche tra i punteggi medi sono statisticamente significative e sempre

di segno positivo (ossia, la valutazione bibliometrica è significativamente più favorevole in

media rispetto a quella peer).

84

Appendice B: Documento sui criteri dell’area 03

1. Introduzione In linea con gli obiettivi generali dell’esercizio di Valutazione della Qualità della Ricerca (VQR)

2004-2010, i criteri adottati del GEV03 mirano a fornire un panorama qualitativo della ricerca

nel campo delle scienze chimiche in Italia. Nel complesso, i prodotti che il GEV03 esaminerà per

questo esercizio sono principalmente articoli su riviste scientifiche. Questi articoli saranno

classificati prevalentemente utilizzando indicatori bibliometrici integrati allo scopo di valutare

sia la qualità della rivista in cui sono pubblicati sia il loro impatto specifico, quantificato in base

al numero citazioni ricevute dall’articolo fino al dicembre 2011. Chiaramente, articoli pubblicati

all’inizio del periodo di valutazione, nel 2004 e 2005, hanno avuto più tempo per accumulare

citazioni e raggiungere un valore statisticamente significativo dell’impatto, rispetto ai lavori

pubblicati nel 2009 o 2010. Questi ultimi potranno richiedere valutazioni aggiuntive secondo la

metodologia peer review. Pertanto, si raccomanda che i soggetti valutati e le strutture di ricerca

forniscano nella scheda descrittiva che accompagna i prodotti, in particolare per quelli pubblicati

nel 2009 e nel 2010, tutte le informazioni utili alla valorizzazione del prodotto, quali, ad

esempio, l’indicazione che il prodotto ha aperto un nuovo campo di ricerca o possiede un

carattere profondamente interdisciplinare, al fine di facilitare l’identificazione dei prodotti da

sottoporre a peer review.

2. Delimitazione dell’area GEV

Il GEV03 (Scienze Chimiche) include i SSD compresi da CHIM01 a CHIM12.

85

3. Organizzazione del GEV

3.1. Sub-GEV Il GEV dell’area 03 è organizzato nei seguenti 3 sottogruppi (sub-GEV):

Sub-GEV03-01: AREA ANALITICO – CHIMICO-FISICA

SSD: CHIM01, CHIM02, CHIM12

Coordinatore: Luisa Torsi (Bari)

Altri membri: Angela Agostiano (Bari), Vincenzo Barone (Pisa), Perla Colombini (Pisa),

Elena Ibáñez (Madrid), Stefana Milioto (Palermo), Patrick Sandra (Ghent), Antonio

Tilocca (London), Francesco Zerbetto (Bologna)

Sub-GEV03-02: AREA INORGANICO – INDUSTRIALE

SSD: CHIM03, CHIM04, CHIM05, CHIM07

Coordinatore: Gianfranco Pacchioni (Milano)

Altri membri: Lucia Banci (Firenze), Gabriele Centi (Messina), Gaetano Guerra

(Salerno), Roberto Purrello (Catania), Christian Serre (Versailles)

Sub-GEV03-03: AREA ORGANICO – FARMACEUTICA

SSD: CHIM06, CHIM08, CHIM09, CHIM10, CHIM11

Coordinatore: Maurizio Prato (Trieste)

Altri membri: Maurizio Botta (Siena), Alberto Brandi (Firenze), Horst Kessler

(München), Henriette Molinari (Verona), Ferdinando Pizzo (Perugia), Patrizia Santi

(Parma), Leonardo Scapozza (Genève)

3.2. Allocazione dei prodotti all’interno del GEV

L’allocazione dei prodotti ai sub-GEV avverrà sulla base del SSD indicato dal soggetto

valutato così come trasmesso dalle strutture. Il significato del SSD associato al prodotto,

che può anche essere diverso dal SSD di appartenenza del soggetto valutato, si riferisce al

GEV che con maggior competenza, secondo il soggetto valutato, può valutare il prodotto

in questione.

Nel caso in cui un prodotto sia assegnato a più GEV per il suo carattere interdisciplinare

saranno adottati identici criteri di valutazione concordati tra i vari GEV. A tale scopo, i

Presidenti dei GEV interessati istituiscono specifici Gruppi di Consenso Inter-Area.

86

3.3. Regole di funzionamento del GEV

La convocazione del GEV avviene almeno 15 giorni prima della riunione. La

riunione è convocata dal Presidente, che fissa anche l’ordine del giorno.

Le decisioni all’interno del GEV vengono prese a maggioranza semplice. Per

partecipare alla votazione non è necessario essere fisicamente presenti alle riunioni,

purché si sia presenti in modalità telematica.

Alle riunioni del GEV partecipa, con funzioni di segretario senza diritto di voto,

anche l’assistente al GEV attribuito da ANVUR al GEV. Al termine di ciascuna

riunione viene redatto un resoconto della seduta in italiano, e un verbale succinto che

riporta le conclusione principali in lingua italiana e inglese. I verbali vengono fatti

circolare tra i membri del GEV e approvati tramite email o utilizzando l’ambiente

SW predisposto dal CINECA.

4. Mix valutativo

Salvo restando che la responsabilità finale della valutazione è affidata al GEV, il GEV03

utilizzerà per la valutazione la tecnica della “informed peer review”, vale a dire un mix di criteri

bibliometrici e di revisione “peer”.

I prodotti di cui alle tipologie a della sezione 2.3 del Bando ANVUR VQR 2004-2010

identificati nelle banche dati Web of Science di Thomson Reuters (WoS) e/o Scopus verranno

valutati utilizzando i criteri bibliometrici descritti nella sezione 3.2.

I prodotti delle tipologie b,c,d,e elencate nella sezione 2.3 del Bando ANVUR VQR 2004-2010

verranno valutati utilizzando la valutazione “peer”.

I prodotti valutati mediante “peer review” (che prevede l’invio a revisori esterni oppure, in alcuni

casi limitati per i quali vi siano le competenze richieste all’interno, la valutazione diretta “peer’

all’interno del GEV) appartengono a 3 categorie:

1. Prodotti di ricerca di cui alle tipologie b,c,d,e elencate nella sezione 2.3 del

Bando ANVUR VQR 2004-2010;

2. Articoli che sono indicizzati nelle banche dati ISI WoS e/o Scopus che richiedono

la “peer review” in base all’algoritmo bibliometrcio descritto nella sezione 3.2;

3. Articoli che sono indicizzati nelle banche dati ISI WoS e/o Scopus e che saranno

valutati utilizzando l’algoritmo bibliometrico e la “peer review” al fine di studiare

la correlazione tra i due metodi di valutazione: tali articoli saranno individuati

87

tramite un algoritmo di campionamento casuale stratificato studiato da un Gruppo

di lavoro dell’ANVUR.

5. Peer Review

Nel caso di utilizzo della “peer review” i prodotti saranno inviati a due revisori esterni, oppure

valutati, sussistendo le condizioni di competenza e di assenza di conflitti, all’interno del GEV

utilizzando le stesse procedure e la stessa scheda di revisione.

La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico

interesse, si informa al principio di leale cooperazione istituzionale ed è retta da criteri di

correttezza, obiettività e imparzialità. Ciascun componente del GEV è tenuto a garantire

l’anonimato degli esperti cui è affidata la valutazione dei prodotti. Le informazioni acquisite ai

fini della selezione dei revisori possono essere utilizzate esclusivamente ai fini della valutazione

della qualità della ricerca.

La scelta dei revisori esterni verrà effettuata evitando conflitti di interesse tra i revisori stessi e

gli autori e/o la struttura di affiliazione. Inoltre, verrà garantita l’indipendenza dei revisori

ponendo attenzione alla sede di affiliazione, alla collaborazione scientifica, e, ove possibile, alla

nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno, ove possibile, i revisori

operanti al di fuori dei confini nazionali.

5.1. L’individuazione dei revisori “peer”

Il GEV intende coinvolgere revisori esterni con un profilo di ricerca internazionale, un

curriculum di altro profilo, testimoniato, in particolare negli ultimi anni, da un elevato

numero di pubblicazioni nelle sedi di riferimento della comunità scientifica internzaionale

del settore, un significativo numero di citazione e la necessaria competenza nella

specifica area di valutazione. Il GEV preparerà un elenco di revisori esterni, stabilendo

standard minimi di qualità scientifica, di impatto sulla comunità scientifica internazionale

e di esperienza nella valutazione.

Grande attenzione verrà posta al mantenimento dell’anonimato dei revisori, sia nella fase

di predisposizione dell’elenco dei revisori, che nella fase operativa di valutazione.

88

Per quanto attiene alla prima, il Presidente GEV consulterà la lista di revisori della

propria area resa disponibile dal CINECA, e chiederà ai componenti GEV, tramite i

coordinatori dei sub-GEV, di suggerire un numero significativo di esperti che soddisfano

ai criteri indicati nel paragrafo precedente.

Il Presidente GEV raccoglierà le indicazioni corredate di informazioni fornite sulla base

di una scheda condivisa, e, anche con l’ausilio dei coordinatori di sub-GEV, provvederà a

modificare la lista CINECA con integrazioni e/o cancellazioni.

Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla

base delle necessità che dovessero emergere a valle della trasmissione dei prodotti da

parte delle strutture.

5.2. Assegnazione dei livelli di merito VQR sulla base delle valutazioni “ peer”

La valutazione dei revisori “peer” si baserà su una apposita scheda revisore predisposta

dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con

numero limitato di parole. Il GEV trasformerà le indicazioni contenute nella scheda

revisore in una delle 4 classi finali di merito. Nel caso di valutazioni non convergenti dei

revisori “peer” o, nel caso di disponibilità di entrambe, tra “peer review” e analisi

bibliometrica, il sub-GEV creerà al suo interno un Gruppo di Consenso con il compito di

proporre al GEV il punteggio finale del prodotto oggetto del giudizio difforme dei

revisori esterni mediante la metodologia del “consensus report”. Il Gruppo di Consenso

potrà avvalersi anche del giudizio di un terzo esperto. In ogni caso la responsabilità della

valutazione conclusiva è dell’intero GEV.

6. Analisi bibliometrica

6.1. Basi di dati

Il GEV03 utilizzerà come basi di dati di riferimento WoS e Scopus.

89

6.2. Finestra temporale delle citazioni

Nel calcolo degli indicatori bibliometrici il GEV utilizzerà le citazioni fino al 31

dicembre 2011.

6.3. Auto-citazioni

L’opportunità di includere o escludere le autocitazioni nella valutazione bibliometrica è

tuttora oggetto di dibattito nella comunità scientifica. Nella VQR 2004-2010, per motivi

di ordine tecnico legati soprattutto all’uso di WoS, che non lo consente direttamente, e ai

problemi legati alla disambiguazione dei nomi degli autori se lo si volesse realizzare a

partire dai dati grezzi, non verranno escluse le autocitazioni.

6.4. Gli indicatori bibliometrici

La valutazione utilizzerà, per tutti gli articoli pubblicati su riviste indicizzate nelle basi di

dati WoS e Scopus, un algoritmo che tiene conto, in misura diversa a seconda della data

di pubblicazione dell’articolo, sia del numero di citazioni che dell’indicatore

bibliometrico della rivista ospitante (IF).

Tale scelta è dettata dalle seguenti considerazioni:

Il puro indicatore citazionale assume valori anche molto piccoli a seconda della disciplina

e dell’età dell’articolo, rendendo difficile una discriminazione effettiva tra classi di

merito; queste considerazioni sono il risultato di una significativa sperimentazione

effettuata utilizzando le basi di dati acquisite per l’esercizio VQR;

L’uso del solo indicatore citazionale costituisce un obiettivo facile per possibili future

manipolazioni, inducendo comportamenti fuorvianti quali l’estensiva autocitazione e la

citazione mutua all’interno di un gruppo ristretto, non giustificate da considerazione di

natura tecnica;

Si ritiene importante comunicare ai giovani ricercatori il messaggio che esiste un livello

qualitativo anche profondamento diverso tra le varie riviste e che ci si debba cimentare

con severe procedure di “peer review” e avere, quale obiettivo, quello di pubblicare nelle

migliori riviste del proprio settore.

L’algoritmo utilizzato per la classificazione degli articoli nelle 4 classi di merito della

VQR è il seguente:

90

Dato l’articolo e la rivista che lo ha pubblicato, si identifica la corrispondente “subject

category (SC)” in ISI WoS e la “science journal classification (ASJC) in Scopus; nel

seguito l’algoritmo verrà descritto con riferimento alle sole SCs e all’IF, essendo

implicito che identica procedura viene seguita per le ASJCs e per altri indicatori

bibliometrici;

Se la rivista appartiene a più di una SC, si utilizza, ai fini dell’individuazione univoca

della SC, l’indicazione del soggetto valutato che ha proposto l’articolo, o, se necessario,

l’eventuale modifica da parte del GEV;

Sia in ISI che in Scopus esiste la categoria: “multidisciplinary science”, che include

riviste caratterizzate da una pluralità di argomenti scientifici, quali Nature, Science, ecc..

Gli articoli pubblicato su una rivista di tale categoria saranno riassegnati ad un’altra SC

sulla base delle citazioni contenute nell’articolo. In particolare, per ognuno delle riviste

citate si individuerà una (o più) SC di appartenenza, e si sceglierà la SC finale con una

regola di decisione maggioritaria. Nell’assegnazione alla nuova SC, l’articolo porterà con

sé l’IF della rivista e il numero di citazioni ricevute;

Si calcola la funzione di distribuzione cumulativa empirica dell’IF delle riviste

appartenenti alla SC individuate per l’anno di pubblicazione dell’articolo da valutare;

Si divide la funzione di distribuzione cumulativa in 4 classi, caratterizzate dai valori di

probabilità 0.2, 0.2, 0.1, 0.5;

Si calcola la funzione di distribuzione cumulativa empirica del numero di citazioni di tutti

gli articoli (dalla data di pubblicazione al 31 dicembre 2011) pubblicati dalle riviste

appartenenti alla SC individuata per l’anno di pubblicazione dell’articolo da valutare;

Si divide la funzione di distribuzione cumulativa del numero di citazioni in 4 classi,

caratterizzate dai valori di probabilità 0.2, 0.2, 0.1, 0.5;

Dati l’IF e il numero di citazioni dell’articolo da valutare, esso viene attribuito ad una

delle 16 coppie di classi rappresentate in una matrice 4x4, che contiene sulle ascisse le

classi della distribuzione dell’IF e sulle ordinate le classi della distribuzione del numero

di citazioni;

91

L’attribuzione della classe finale di merito avviene secondo l’algoritmo seguente, nel

quale la lettera “A” si riferisce alla classe finale “eccellente”, la “B” a “buono”, la “C” a

accettabile, e la “D” a “limitato”:

Quando le coordinate dell’articolo lo posizionano in una delle 4 caselle della diagonale

principale, e quindi le 2 indicazioni basate su IF e su citazioni coincidono, la classe finale

è la stessa (vedi Figura 1).

Figura 1. Matrice di corrispondenza tra classi iniziali di IF e citazioni e classe finale VQR

Quando le coordinate danno indicazioni diverse (casella non appartenente alla diagonale

principale), occorre distinguere due casi a seconda della data di pubblicazione

dell’articolo.

Se l’articolo è stato pubblicato nel quinquennio 2004-2008, a potendo quindi considerare

sufficientemente consolidata la distribusione di citazioni ad esso associata, si utilizza la

matrice riportata in Figura 2 per l’attribuzione della classe finale di merito, nella quale si

privilegia l’indicazione fornita dalla classificazione citazionale.

92


per articoli pubblicati nel quinquennio 2004-2008

Se l’articolo è stato pubblicato nel biennio 2009-2010, e quindi la sua “storia” citazionale

è, al contrario, ritenuta non sufficientemente consolidata, si utilizza la matrice seguente

per l’attribuzione della classe finale di merito (vedi Figura 3), nella quale si privilegia

l’indicazione fornita dalla classificazione basata sull’IF.

93


per articoli pubblicati nel biennio 2009-2010

Le caselle delle matrici di Figura 2 e Figura 3 etichettate “IR” si riferiscono ai casi nei

quali la valutazione non verrà fatta in maniera automatica, ma mediante la “informed peer

review”. In tali casi, il GEV valuterà direttamente l’articolo, o, in mancanza al suo interno

delle competenze necessarie, lo affiderà alla “peer review”.

L’algoritmo distinguerà, calcolando distribuzioni cumulative empiriche separate per le

citazioni, gli articoli “scientifici” da quelli di rassegna, che ricevono notoriamente un

maggior numero di citazioni.

A PR

A B C D

C D

PR D

Cit

atio

n

A

B

C

D

A B C D

A

PR

PR PR

B

PR

Bibliometry (IF)

2009-2010

94

6.5. Gestione dei conflitti Nel caso di articoli sottoposti a valutazione bibliometrica utilizzando sia ISI WoS che

Scopus che ottengano una valutazione diversa si adotterà la valutazione più favorevole.

Nel caso di disponibilità di una o più valutazioni “peer” e della valutazione bibliometrica

per lo stesso prodotto, eventuali conflitti di attribuzione verranno risolti dal GEV su

proposta del sub-GEV tramite un gruppo di consenso.

6.6. Assenza di indicatori di citazione

Tutti i prodotti non contenuti nelle basi di dati citazionali ISI WoS e Scopus saranno

sottoposti a valutazione diretta da parte del GEV, o, in assenza delle competenze

necessarie al suo interno, a “peer review” da parte di revisori esterni selezionati dal

GEV.

7. Altri prodotti

Come già detto in precedenza, tutti i prodotti privi di indicatori di citazione (tra cui le tipologie

c,d,e del Bando) verranno inviati alla peer review.

Gli abstract relativi ad atti di congresso pubblicati su riviste con codice ISSN saranno sottoposti

a peer review, ma non potranno ricevere una classificazione VQR migliore di C.

I lavori di rassegna privi di indici bibliometrici saranno sottoposte a peer review, ma non

potranno ricevere una classificazione VQR migliore di C.

I brevetti saranno sottoposti a peer review. I livelli di merito VQR A (eccellente) e B (buono)

potranno essere assegnati esclusivamente a brevetti internazionali approvati in Europa, USA o

Giappone e che siano già stati ceduti o dati in licenza a un’azienda.

8. Risoluzione dei conflitti di interesse

Sulla base delle linee guida GEV dell’ANVUR, i membri dei GEV si asterranno dal valutare o

dall’assegnare ad altri membri dei GEV o a esperti esterni:

95

a. prodotti di cui siano autori o co-autori.

b. prodotti di cui siano autori o co-autori parenti o affini fino al 4° grado.

c. prodotti presentati da università presso cui i membri stessi abbiano o abbiano avuto un

rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali negli anni a

partire dal 1/1/2007.

d. prodotti presentati da enti di ricerca vigilati dal MIUR e da altri soggetti pubblici e privati

sottoposti volontariamente alla VQR presso cui i membri stessi abbiano o abbiano avuto un

rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali, inclusa

l’affiliazione a enti di ricerca, negli anni a partire dal 1/1/2007.

Nei casi di cui al punto d) precedente, esiste conflitto di interesse:

i. nel caso in cui la struttura abbia una permanente strutturazione interna di tipo territoriale

o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), limitatamente

ai prodotti presentati dalla stessa articolazione;

ii. nel caso in cui la struttura non abbia una permanente strutturazione interna di tipo

territoriale o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), in

riferimento a tutti i prodotti presentati nei limiti in cui ciò sia possibile senza precludere

la possibilità di valutare il prodotto;

iii. nel caso in cui la strutturazione interna abbia luogo a più livelli gerarchici (es. più istituti

riuniti sotto un dipartimento) il conflitto di interesse sorge al livello più basso (es. membri

GEV affiliati ad istituti diversi di uno stesso dipartimento, sono in conflitto di interesse

soltanto rispetto a prodotti presentati da autori appartenenti allo stesso istituto).

Nei casi di conflitto di interesse, il Presidente del GEV incaricherà delle procedure di valutazione

un altro membro del GEV per i quali non vi siano conflitti di interesse.

Nel caso di conflitti di interesse che coinvolgano il Presidente del GEV, l’assegnazione dei

prodotti relativi sarà fatta dal coordinatore del VQR o da persona da lui incaricata.

96

Appendice C. Considerazioni e analisi specifiche dell’area 03.

Ai membri del GEV03 è sembrato opportuno dedicare quest’appendice a due aspetti particolari.

Il primo è il problema delle aree molto interdisciplinari che sarà qui declinato con esplicito

riferimento al settore dei beni artistici e culturali (SSD Chim12 ma non solo). Il secondo aspetto

è una breve valutazione della procedura di valutazione da parte dei membri stranieri del GEV in

modo da avere un punto di vista più ‘internazionale’’. Partiamo dunque dal primo aspetto

L’analisi chimico-fisica dei materiali d’interesse per i beni artistici e culturali è un perfetto

modello di collaborazione con curatori di musei, storici, antropologi e/o con altri specialisti che

partecipano assieme ai chimici nel fornire risposte a questioni interessanti e importanti che

riguardano lavori archeologici o opere d’arte o altri meritevoli di studio: quali sono i materiali?

Com’è stata eseguita l’opera? Com’è cambiata o si è deteriorata l’opera nel tempo? Poiché

nessun singolo esperto è in grado di fornire una risposta a tutte queste domande, esperti di molte

aree diverse che utilizzano vari tipi di tecniche strumentali, analitiche, spettroscopiche e

informatiche sono accomunati nella pubblicazione dei risultati in modo da mettere in comune le

loro conoscenze ed expertise.

Quest’area multidisciplinare si fonda su applicazioni innovative di tecniche più o meno

tradizionali di analisi chimico/fisica e sta acquisendo un’importanza sempre crescente. I continui

miglioramenti della tecnologia stanno facendo sì che la chimica analitica, la spettroscopia,

l’imaging, la modellistica computazionale e la grafica/visualizzazione computerizzata

rappresentino strumenti sempre più efficienti e integrati per lo studio della provenienza di oggetti

culturalmente importanti, e per la soluzione dei problemi connessi alla degradazione di tali

oggetti a causa delle più recenti variazioni ambientali che includono, tra l’altro, i cambiamenti

climatici e l’inquinamento urbano.

Sebbene il ruolo di quest’area di ricerca sia molto importante ed in continua crescita, la

possibilità di pubblicare lavori in giornali del settore con alto IF è tuttora piuttosto ridotta. E’

interessante notare che solo pochi lavori multidisciplinari sono pubblicati su riviste generaliste ad

alto IF come i Proceedings of the National Academy of Sciences (IF 9,681), Nature (IF 36.280),

Analytical Chemistry (IF 5.856), Langmuir (IF 4.186): questi lavori riguardano nuovi sviluppi di

strumentazioni, tecnologie o materiali d’interesse nel campo dei beni culturali oppure argomenti

97

particolarmente accattivanti, spesso collegati a scoperte archeologiche. In realtà, anche se il

numero di riviste dedicate ai beni culturali è sempre più rilevante, la tabella seguente, che

raccoglie le riviste più accreditate del settore, mostra che solo poche di esse ha un IF.

Rivista IF, 2011

Journal of Archaeological Science 1,914

Archaeometry 1,183

Journal of Cultural Heritage 1,079

Studies in Conservation 0,4

Archaeological and Anthropological

Science

e-preservation science (open access)

Conservation Science in Cultural Heritage

Heritage Science (open access)

Canadian Journal of Cultural Studies

Kermes

Science and Technology for Cultural

heritage

National Gallery Technical Bulletin

……..

Ad esempio, il National Gallery Technical Bulletin, pubblicato dal 1977, non ha un IF, anche se

la rivista ha raggiunto una posizione di preminenza nello studio dei materiali e delle tecniche

della pittura e nell’analisi scientifica dei quadri: essa rappresenta una lettura indispensabile per

conservatori, scienziati della conservazione, storici dell’arte, collezionisti e curatori. Inoltre,

numerosi Congressi Internazionali pubblicano anteprime o atti dei lavori (pre- o post-prints) che

sono molto utili per la disseminazione della conoscenza scientifica verso le comunità dei

conservatori e dei restauratori, ma il valore di tali pubblicazioni per la nostra comunità scientifica

è pressoché nullo. Un esempio specifico è rappresentato dalla pubblicazione della Conferenza

triennale dell’ICOM-CC (International Council of Museums- Committee for Conservation) con

98

lo scopo di promuovere l’investigazione, analisi e conservazione di opere particolarmente

rilevanti da un punto di vista culturale o storico. Tali pubblicazioni sono sottomesse a una

revisione particolarmente severa da parte di esperti del campo ed hanno un’importante diffusione

a livello mondiale: purtroppo, tuttavia, non è disponibile un IF. Allo stesso modo, tutti i lavori

riguardanti le applicazioni di analisi strumentale e/o di procedure analitiche specifiche alla

soluzione di problemi concernenti la caratterizzazione dei materiali utilizzati in oggetti

d’interesse storico o artistico appaiono per la maggior parte su riviste a basso IF, con una

conseguente sottostima del loro valore nella nostra VQR, a dispetto del loro alto valore

intrinseco.

Gli aspetti appena analizzati spiegano perché la maggior parte dei lavori valutati dal

GEV03 e dedicati ai beni culturali ha ricevuto una classificazione A o L. Per questo e altri motivi

la definizione attuale degli SSD appare in qualche senso limitativa e non del tutto soddisfacente.

Solo per fornire un altro esempio, le riviste che pubblicano lavori nel campo delle nanoscienze o

dei materiali avanzati hanno mediamente IF molto più alti di quelle dedicate alla termodinamica

chimica. E pur tuttavia tutte queste aree appartengono in maggioranza allo SSD Chim02. Ancora

una volta, ci sembra di poter concludere che una valutazione comparativa più approfondita

richiede analisi complesse e articolate condotte da specialisti dei vari settori e un confronto tra

settori omologhi nel panorama internazionale, in sostanza una qualche forma di normalizzazione

rispetto al livello di citazioni, IF, ecc. del corrispondente (ristretto) settore a livello

internazionale.

Per quanto riguarda il secondo punto, riportiamo qui sotto alcune considerazioni elaborate dai

colleghi stranieri partecipanti al GEV3.

In termini generali la procedura è stata abbastanza complessa fin dall’inizio e ciò non è

sorprendente in vista delle dimensioni del processo di valutazione, essendo questa la prima volta

che una valutazione di queste dimensioni è stata a condotta livello globale. Nel seguito sono

riportati alcuni commenti sulle varie fasi del processo di valutazione.

- Procedura di assegnazione ai membri del GEV: l’assegnazione dei prodotti a 2 membri

diversi del GEV è sicuramente necessaria ed è stata condotta in maniera corretta. Il

numero di prodotti assegnati a ciascun membro del GEV è stato probabilmente troppo

elevato, ma il tempo supplementare concesso alla fine della procedura valutativa ha reso

possibile condurre a buon fine il lavoro.

99

- Assegnazione dei prodotti ai valutatori: il processo di selezione dei valutatori esterni è

stato abbastanza complesso e in questo caso l’uso esclusivo di parole chiave (alcune in

Italiano, alcune in Inglese, acronimi, ecc.) ha complicato il lavoro. Ad esempio, è stato in

pratica impossibile ritrovare nel sistema un valutatore ben noto al membro del GEV con

un nome incompleto o senza indicazione precisa dell’area. A questo proposito il nostro

suggerimento sarebbe di non assegnare i revisori ad aree specifiche, ma di lasciarli tutti in

un database unico cui sia possibile accedere ogni volta che sia necessario eseguire

un’assegnazione. Inoltre la selezione delle parole chiave richiede, a nostro avviso, una

profonda revisione.

- Dopo la selezione di un revisore è stato necessario accedere al database un numero

eccessivo di volte per accertare l’effettiva accettazione. Inoltre il tempo concesso ai

revisori per accettare di esaminare ogni prodotto è stato eccessivo. Un possibile

miglioramento potrebbe consistere nell’invio automatico da parte del sistema di una

segnalazione o un messaggio al membro del GEV che ha gestito l’assegnazione per

aggiornare l’informazione sul prodotto assegnato. Tale approccio potrebbe essere

utilizzato anche in altri passaggi della procedura.

- Il sito su cui è stata fatta la valutazione dei prodotti è stato in generale robusto e facile da

utilizzare: l’unico problema rilevante è stato legato alla necessità di chiudere

definitivamente la valutazione per conservare i commenti in essa contenuti. Sarebbe

particolarmente utile poter salvare una bozza dei giudizi prima di chiudere

definitivamente la valutazione.

- Talvolta la classificazione bibliometrica fornita dal sistema è stata difforme da quella

condotta autonomamente sui diversi database soprattutto in termini di numero di

citazioni.

- Il resto della procedura (accordo tra i membri del GEV, differenze segnalate da diversi

colori, ecc.) è stato ben congegnato e facile da seguire.

- I criteri utilizzati per definire e risolvere i disaccordi sono stati molto validi.

- In termini generali l’intera procedura è stata ben congegnata e condotta con competenza.

valutazione della qualita della ricerca 20042010 (vqr 2004 ... · (vqr 2004-2010) rapporto finale...

Documents