francesco priolo valutare la ricerca: introduzione alle metodologie ed esperienze
DESCRIPTION
Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze. Premessa Ricerca di Base vs Ricerca Applicata “Buona” Ricerca vs “Cattiva” Ricerca. Outline Metodi di Valutazione: Peer Review vs Bibliometrica Valutazione Ricerca di Ateneo - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/1.jpg)
Francesco Priolo
Valutare la Ricerca:introduzione alle metodologie ed esperienze
![Page 2: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/2.jpg)
Premessa
• Ricerca di Base vs Ricerca Applicata
• “Buona” Ricerca vs “Cattiva” Ricerca
![Page 3: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/3.jpg)
![Page 4: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/4.jpg)
Outline
• Metodi di Valutazione: Peer Review vs Bibliometrica
• Valutazione Ricerca di Ateneo
• Agenzia Nazionale Valutazione: ANVUR
• Valutazione Qualità Ricerca (VQR)
• Abilitazione Scientifica Nazionale (ASN)
![Page 5: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/5.jpg)
Pubblicare un lavoro di ricerca
Il meccanismo della peer review
-EditorÈ noto pubblicamente, prende le decisioni e se ne assume le responsabilità
-RefereesSono degli esperti “segreti” che giudicano il lavoro e ne propongono (o meno) la pubblicazione
Vantaggi: Filtro e SuggerimentiSvantaggi: i) A volte entro in gioco meccanismi diversi dal puro valore scientifico, ii) non sempre i referee sono dei veri esperti e il giudizio finale deve esser dato dalla comunità
![Page 6: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/6.jpg)
Albert Einstein e la Peer Review
![Page 7: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/7.jpg)
La peer review è una valutazione su un lavoro scientifico da parte di pochi esperti “segreti”.
Le citazioni sono per un lavoro scientifico una valutazione ex post da parte dell’INTERA comunità scientifica.
![Page 8: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/8.jpg)
Valutazione Bibliometrica
Citazioni
Impact Factor
Indice di Hirsch
![Page 9: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/9.jpg)
Il fattore di impatto (impact factor o IF) è un indice sintetico, di proprietà di Thomson Reuters, che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti.
Per un lavoro si tratta di una valutazione sul valore prima di essere giudicato dall’INTERA comunità scientifica(Pubblicazioni ISI-JCR – Journal of Citation Reports)
Esempi
Nature IF 38Science IF 31Nature Nanotechnology IF 31Physical Review B (American Physical Society) IF 3.7Physica E: Nanostructures (Elsevier) IF 1.5
![Page 10: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/10.jpg)
Con indice H o indice di Hirsch, si intende un indice proposto nel 2005 da Jorge E. Hirsch dell'Università della California a San Diego per quantificare la prolificità e l'impatto del lavoro degli scienziati, basandosi sia sul numero delle loro pubblicazioni che sul numero di citazioni ricevute. Secondo la definizione, uno scienziato è di indice n se ha pubblicato almeno n lavori, ciascuno dei quali è stato citato almeno n volte.
J. E. Hirsch, An index to quantify an individual’s scientificResearch output, PNAS 2005
“Based on typical h values found, I suggest (with large error bars) that for faculty at major research universities, h 12 might be a typical value for advancement to tenure (associate professor) and that h 18 might be a typical value for advancement to full professor.”
![Page 11: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/11.jpg)
Lista dei Top Italian Scientists h-index>30http://www.via-academy.org
Pregi e Limiti dell’h-index
Peter Higgs – Premio Nobel per la fisica 2013 – ha un h-index di 10
ROARS – Return on Academic ReSearch www.roars.it
![Page 12: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/12.jpg)
Banche Dati Citazionali(sul sito del CBD http://www.sida.unict.it/)
ISI Web of ScienceScopusGoogle Scholar
![Page 13: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/13.jpg)
Attenzione alle omonimie…
![Page 14: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/14.jpg)
![Page 15: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/15.jpg)
Il Re è Nudo
![Page 16: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/16.jpg)
Catalogo di Ateneo:Valutazione della Ricerca
presso l’Università di Catania
![Page 17: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/17.jpg)
• L’Università di Catania negli anni passati ha intrapreso un processo di Valutazione della Ricerca dei propri Docenti in grado di mettere in evidenza le eccellenze e i punti di debolezza.
• L’ultima Valutazione ha riguardato la produzione scientifica del quinquennio 2006-2010.
• Tutti i Prodotti della Ricerca (Pubblicazioni, Brevetti, etc.) sono stati inseriti dai singoli docenti nel Catalogo di Ateneo ove sono stati classificati in base alla loro tipologia.
• Ad ogni prodotto è stato assegnato un punteggio dipendente dalla “tipologia”.
![Page 18: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/18.jpg)
METODOLOGIA
Divisione delle tipologie in 2 distinte classi di merito (in linea con i parametri riconosciuti a livello nazionale dal Decreto Ministeriale sulla Valutazione della Ricerca) :
A) tipologie di maggior valore che contribuiscono in pieno alla valutazione.
B) tipologie “minori” che entrano in valutazione ma con un punteggio massimo ammissibile per docente (saturazione a 10 punti) che, negli ultimi anni è stato ridotto a zero
![Page 19: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/19.jpg)
Tipologie in “Classe A”
• Volumi di ricerca originale• Articoli su riviste ISI.• Articoli su riviste con comitato scientifico, comitato
di redazione e processo di selezione. • Articoli per esteso su volumi o atti di
manifestazioni internazionali • Articoli per esteso su volumi o atti di
manifestazioni nazionali • Carte tematiche• Brevetti
![Page 20: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/20.jpg)
Tipologie in “Classe B”• Volumi didattici di alta divulgazione• Cura di volumi scientifici collettanei o di atti di congressi• Voci in enciclopedie, dizionari, ecc.; traduzione di testi inediti nella
lingua della versione• Articoli su altre riviste scientifiche• Note e recensioni pubblicate su riviste scientifiche; traduzione di
testi già editi nella lingua della versione.• Abstracts di comunicazioni o posters presentati a congressi
internazionali.• Abstracts di comunicazioni o posters presentati a congressi
nazionali.• Prodotti multimediali a contenuto scientifico• Altri documenti: rapporti di ricerca, preprints, rapporti di lavoro in
corso.
![Page 21: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/21.jpg)
Ogni Docente ha totalizzato un punteggio in base alla somma dei punteggi dei singoli prodotti introdotti nel Catalogo di Ateneo
•Docenti operativi se hanno totalizzato almeno 10 punti
•Docenti NON operativi se hanno totalizzato meno di 10 punti
Sono stati distribuiti 40 punti.•32 punti tra le 7 categorie in classe A •8 punti fra le 9 categorie in classe B(poi portati a zero)
![Page 22: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/22.jpg)
![Page 23: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/23.jpg)
![Page 24: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/24.jpg)
• I punteggi sono stati corretti tenendo in considerazione il numero di autori di ogni prodotto.
• Per ogni Area Scientifica-Disciplinare è stata poi elaborata una classifica dei docenti dando punteggio 1 al docente “mediano” (che si trova a centro classifica) e riscalando di conseguenza tutti gli altri punteggi.
• Sono state infine generate 4 classi di meritoNON è possibile una classifica generale di Ateneo perchè aree disciplinari diverse sono troppo disomogenee.
Sono possibili delle classifiche dei docenti per ciascuna delle 14 aree scientifico-disciplinari
![Page 25: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/25.jpg)
Ateneo – (2005-2009)
Docenti NON operativi: 14%, il 10% non hanno inserito nulla in Catalogo e il 4% sono sotto soglia
![Page 26: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/26.jpg)
PREGI E DIFETTI
Metodo rapido e poco costoso
In grado di instaurare una sensibilità alla valutazione in una classe tipicamente non avvezza ad essere valutata
In grado di dare, per grandi linee, un quadro abbastanza realistico
Metodologia solo quantitativa e non qualitativa
Metodologia facilmente esposta ad errori
![Page 27: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/27.jpg)
www.anvur.org
![Page 28: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/28.jpg)
Valutazione della Qualità della Ricerca
VQR
![Page 29: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/29.jpg)
SOGGETTI INTERESSATI (Strutture)• Università statali;• Università non statali, autorizzate a rilasciare titoli accademici;• Enti di ricerca pubblici vigilati dal MIUR;• Altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta.
AREE DI VALUTAZIONELe 14 aree disciplinari CUN, per ognuna delle quali viene costituito un Panel di esperti (GEV)
Il sistema di informatizzazione è affidato al CINECA.
![Page 30: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/30.jpg)
NON vengono valutati i docenti ma le Università sono valutate in base alla sommatoria della produttività dei singoli
Ciascun ricercatore delle Università presenta, inserendole nella banca dati predisposta dal CINECA almeno 3 pubblicazioni di cui è autore o coautore, riferite al quinquennio e 3 ulteriori se è affiliato anche ad un Ente; i ricercatori degli Enti ne presentano almeno 6
![Page 31: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/31.jpg)
• I ricercatori che non presentano alcuna pubblicazione sono considerati non attivi;
• I ricercatori che presentano un numero di pubblicazioni inferiore a quello previsto sono considerati parzialmente attivi;
![Page 32: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/32.jpg)
Selezione delle pubblicazioni:
Sono valutabili dai Panel:a) Articoli su riviste con ISSN;b) Libri e loro capitoli, inclusi atti di congressi, con ISBN, edizioni critiche e
commenti scientifici;c) Brevetti depositati;d) Composizioni, disegni, mostre ed esposizioni se corredati da
pubblicazioni.
Non sono valutabili dai Panel:a) Attività editoriali e di curatela;b) Lettere, correzioni e abstract di conferenze, anche se su riviste;c) Testi e software di esclusivo interesse didattico o divulgativo;d) Prove e analisi di routine;e) Rapporti tecnici interni.
![Page 33: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/33.jpg)
I Panel valutano la qualità delle pubblicazioni.
Ai fini del giudizio, rigorosamente descrittivo, i Panel adottano, singolarmente o in combinazione, le seguenti metodologie:
•analisi delle citazioni (ove applicabile), condotta direttamente dal Panel, utilizzando a tal fine la banca dati;
•peer-review, affidata ad esperti esterni scelti collegialmente dal Panel (di norma non più di due), con il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate.
![Page 34: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/34.jpg)
L’analisi dei seguenti aspetti è parte integrante del giudizio di qualità:
•rilevanza: valore aggiunto per l’avanzamento della conoscenza, congruità, efficacia, tempestività e durata delle ricadute;
•originalità/innovazione: contributo a nuove acquisizioni nel settore di riferimento;
•internazionalizzazione e/o potenziale competitivo internazionale: posizionamento nello scenario internazionale, competitività, diffusione editoriale, collaborazione esplicita con ricercatori di altre nazioni;
•relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute socio-economiche;
•per le pubblicazioni in collaborazione i Panel potranno pesare i contributi sulla base del ruolo avuto dai partecipanti, secondo le prassi delle diverse comunità scientifiche.
![Page 35: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/35.jpg)
Il giudizio su ciascuna pubblicazione deve essere descrittivo: •Eccellente (punteggio: 1)
•Buono (0.8)
•Accettabile (0.5)
•Limitato (0)
•Non valutabile (-1)
•Frode (-2)
Per ciascuna pubblicazione mancante rispetto al numero atteso è assegnato un peso negativo (peso -0.5).
![Page 36: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/36.jpg)
Classe D: il 50% con i valori più bassi sono considerate di valore limitato; Classe C: il successivo 10% sono considerate accettabili;
Classe B: il successivo 20% sono buone: Classe A: l’ultimo 20% con i punteggi più alti sono eccellenti.
![Page 37: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/37.jpg)
Indicando rispettivamente con Ei, Bi, Ai, Li, Mi, NVi e PLi il numero di prodotti Eccellenti, Buoni, Accettabili, Limitati, Mancanti, Non Valutabili e Plagio della struttura i-esima,
si ottiene la valutazione complessiva Vi della struttura i-esima come:
1.0xEi + 0.8xBi + 0.5xAi + 0.0xLi -0.5xMi - 1.0xNVi – 2.0xPLi
Il primo indicatore, con valore max 1, è dato da
Ii= Vi/Ni
![Page 38: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/38.jpg)
PREGI E DIFETTI
Si mettono in particolare evidenza le carenze
Non vengono considerate a sufficienza le eccellenze
Le scelte degli Enti di Ricerca possono influenzare i risultati delle diverse Università
Differenze rispetto alla precedente valutazione ministeriale CIVR
![Page 39: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/39.jpg)
![Page 40: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/40.jpg)
Mediane
Data una distribuzione e riordinata in base ai valori crescenti si definisce la mediana (o valore mediano) come il valore assunto dalla unità che si trova nel mezzo della distribuzione stessa.
12 14 14 14 15 16 16 17 17 18 19 20 20 21 25 25 30 50 55 60 70
….Ma tu ce l’hai la mediana?
![Page 41: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/41.jpg)
MedianePer i Commissari e per i candidati
Esempio per i settori bibliometrici:- Numero di articoli indicizzati- Numero complessivo di citazioni- Indice h
Esempio per i settori non bibliometrici:- Numero di libri dotati di ISBN- Numero di capitoli su libri dotati di ISBN- Numero di articoli su riviste di classe A
![Page 42: Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze](https://reader035.vdocuments.mx/reader035/viewer/2022062816/5681558a550346895dc35ff8/html5/thumbnails/42.jpg)
Valutare la ricerca è complesso
Ogni sistema di valutazione è imperfetto e ha diversi punti deboli
Riconoscerne i difetti non deve equivalere a screditare la valutazione ma a conoscerne i limiti e usarla quindi solo entro tali limiti
Una valutazione completa dovrebbe contenere un “blend” completo di diversi aspetti complementari