La valutazione della ricerca e i dati: l’esperienza italiana a confronto con quella europea

Paola Galimberti

Terzo convegno ROARS: Roma 19 giugno 2015

L’importanza dei dati

Qualità dei dati

Affidabilità

Oggettività

Generalizzabilità

Utilità

Validità

Rilevanza

Completezza

Integrità

Severe difficulties

Gli errori più frequenti rilevabili dal sito ministeriale• Errori di classificazione dei contributi (contributo in vol. vs. articolo,

difficoltà a individuare cosa sia effettivamente una monografia) anche in relazione ad autori diversi

• Errori sugli identificativi (in particolare i DOI) che non permettono la disambiguazione delle registrazioni doppie

• Errori sul numero degli articoli effettivamente attribuiti ad un ricercatore

• Errori di disambiguazione

• Errori di collegamento con i dati bibliometrici

• Errori legati alla incompletezza delle registrazioni o al mancato inserimento dei dati

Diverse modalità di raccolta e diffusione

I+N

N+I

National CRIS nella Repubblica Ceca

on behalf of the Research, Development and Innovation Council of

the Czech Republic

National CRIS nei Paesi Bassi

National CRIS in Norvegia

CRIStin is a cooperative effort under Kunnskapsdepartementet (the Ministry of Education and Research)

Organizzazioni a livello europeo

• EuroCRIS

• Attività principali:

• Sviluppo cura degli standard la descrizione delle attività della ricerca(entità e relazioni) Cerif Common European Research Information Format

• Promozione della cooperazione e dello scambio di esperienze fra idiversi stakeholders (editori, istituzioni, fornitori di servizi per la ricerca)

• Alcuni atenei italiani (pochi) e CINECA ne fanno parte

La situazione in Italia fino al 2014

LoginMIUR

Cataloghi locali (UGOV, SURplus, altri cataloghi)

Singoli ricercatori

Validazione molto parziale

Nessuna validazione

La situazione in Italia oggi

LoginMIUR

Cataloghi locali (IRIS, altri cataloghi)

Singoli ricercatori

Validazione implementabile

Nessuna validazione

Cataloghi locali (Iris, altri cataloghi)

Un confronto con le altre esperienze europee

• Manca un committente a cui sia chiara l’importanza di avere dati affidabili (e non semplicemente dei dati) – Negli altri paesi il committente è il Ministero o sono gli enti finanziatori della ricerca

• Mancando un vero interesse a livello centrale (e quindi un investimento serio e una politica seria sulla qualità dei dati) è difficile che nelle istituzioni si sviluppi la necessaria sensibilità alla cura del dato

Segnali di cambiamento

• In parte potrebbero essere indotti dal fatto che le anagrafi della maggior parte degli atenei entro pochi mesi saranno pubbliche

• Maggiore attenzione da parte degli autori nell’inserimento dei dati che li riguardano

• Maggiore (si spera) attenzione da parte delle istituzioni rispetto alla propria anagrafe accessibile da tutti.

• La maggiore attenzione deve però tradursi in un supporto reale alla qualità dei dati – Attraverso l’assegnazione di risorse ad hoc (personale specializzato)

Segnali di cambiamento

• Sensibilità verso l’uso degli identificativi (delle pubblicazioni e degli autori) e riconoscimento della loro importanza per la disambiguazione dei dati

• E’ sulla base degli identificativi che può essere avviata l’anagrafe nazionale

Ma a cosa serve una anagrafe nazionale?

• In una situazione in cui almeno i metadati (e auspicabilmente i full-text) sono disponibili a tutti:

Ad un miglioramento in generale della circolazione della conoscenza prodotta con il sostegno dei fondi pubblici

Ad un rafforzamento dei legami fra industria (anche piccola e media) e ricerca

Ad una possibilità di accesso alla conoscenza ampia e diffusa per categorie di professionisti oltre che per i cittadini

Alla possibilità per famiglie e studenti di valutare chi fa cosa e dove al di là dei ranking e delle classifiche

Alla trasparenza delle procedure con cui si valutano singoli gruppi e istituzioni

Ammesso che i diversi attori si assumano le proprie responsabilità

Chi è responsabile di cosa?

Uno sforzo a livello di sistema

• Gli autori: devono fornire le informazioni che li riguardano nella maniera più accurata e tempestiva possibile

• Le istituzioni di ricerca: devono attivare meccanismi di controllo e correzione dei dati (sia automatici che mediati da personale esperto)

• Il Ministero: deve fissare gli standard e verificare che le istituzioni li rispettino, sia attraverso controlli automatici, sia attraverso la creazione di un centro che supporti la alimentazione e il mantenimento della anagrafe nazionale