bb: burocrati bibliometrici. la via italiana alla valutazione dell'università e della ricerca

Burocrati Bibliometrici. La via italiana alla

valutazione dell’università e della ricerca

Alberto Baccini (DEPS Unisi e www.roars.it)

«Miti e riti della valutazione nell’università italiana»

Dip. studi internazionali, giuridici e storico-politici

Milano 13 giugno 2014

Alberto Baccini, VQR di area13

Il cattivo disegno delle istituzioni …

Struttura napoleonica:

controllo ministeriale centralizzato Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education, 65(1), 113-33

L’illusione delle istituzioni di first best

introduzione di elementi di modello competitivo

autonomia come primo passo per la competizione

riforma della governance (Gelmini)

valutazione oggettiva (ANVUR)

distribuzione premiale delle risorse

Alberto Baccini, VQR di area13

… ha dato luogo ad un sistema sbilanciato

Ministro

Agenzia plenipotenziaria di valutazione (ANVUR):

tutte le attività di valutazione della ricerca

«assicurazione della qualità» della didattica

performance della macchina amministrativa delle università (decreto FARE)

Finanziamento alla ricerca multicentrico non coordinato

«The absence of a research funding agency creates a critical unbalance in

the governance of the R&D system, with the government decentralize

evaluation, but not the power to design research priorities, to address new,

explorative, research themes, and to set up innovative strategic funding

instruments.» [Reale, EGOS colloquium 2012]

Alberto Baccini, VQR di area13

…governato di fatto da una élite

Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta élite

«organica» ad ANVUR, un potere enorme e senza contrappesi su università e

ricerca

«The new rules are able to modify the composition of the actors influencing the

knowledge production in universities, with the reinforcement of those individuals

more involved in peer reviewing and bibliometric activities, and groups more capable

to colonize the disciplinary peer review committees. It is uncertain the extent to which

the mentioned transformation of individual professional habits would produce the

effect of reinforcing the universities, reducing their characters of loosely-coupled

organizations, or just re‐adjust the internal power distribution, without altering the

organizational characteristics.» (Reale 2012)

Alberto Baccini, VQR di area13

Nessuno ha valutato i costi e benefici della

valutazione

“In primo luogo, il costo della valutazione (il termine “costo” va inteso in

senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e

indiretti) necessario per consentire un’adeguata rendicontazione della spesa

pubblica (accountability) non dovrebbe mai rappresentare più di una quota

minimale del costo delle attività da valutare (per esempio meno dell’1%). In

secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore

ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin

2012)

«Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse

a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior

numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale

approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi

per ricerca senza sapere quale sia il migliore modo per distribuire i

finanziamenti» John P.A. Ioannidis, Nature (2011)

Alberto Baccini, VQR di area13

I Burocrati Bibliometrici della VQR

Valutazione universale

Valutazione bibliometrica accurata del singolo

prodotto di ricerca

Valutazione accurata del singolo ricercatore

Oggettività del processo di valutazione

Garantita da una élite di scienziati

Ed ora visto che lo strumento esiste lo applichiamo:

dottorati, università per chiamate etc.

Alberto Baccini, VQR di area13

I problemi della VQR: assenza di fairness nella composizione dei

GEV

http://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/

Alberto Baccini, VQR di area13

BB: almeno 48 bibliometrie diverse

Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs

de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013

Alberto Baccini, VQR di area13

BB: i dati VQR non comparabili tra aree

diverse

Fo

nte

: ra

pp

ort

o f

inal

e p. 7

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Comparabilità dei risultati: RAE vs. VQR

Alberto Baccini, VQR di area13

RAE national comparative data

Alberto Baccini, VQR di area13

BB: peer review e bibliometria misurano la

qualità della ricerca

E sono quindi intercambiabili

Alberto Baccini, VQR di area13

BB: c’è concordanza più che adeguata tra bibliometria e

peer review. (Peccato non sia vero)

htt

p:/

/w

ww

.ro

ars.

it/o

nlin

e/lo

-str

ano

-cas

o-d

elle

-

con

cord

anze

-del

la-v

qr/

Alberto Baccini, VQR di area13

Non c’è concordanza tra peer review e

bibliometrica per cui

Alberto Baccini, VQR di area13

Quota peer review e voto medio in Area13

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00

P12

P07

P13

P11P09

P08

S04S05

P10P04

S03

P06S06

P02S01

P01

S02

P05

% peer review

Vo

to m

edio

Corr=-0,777

Alberto Baccini, VQR di area13

Confronto tra prodotti eccellenti nella VTR e

nella VQR

Alberto Baccini, VQR di area13

BB: I quadrati magici bibliometrici della VQR

Alberto Baccini, VQR di area13

40%

25%

14%

21%

22%

21%

13%

44%

«Vincere facile»

Ingegneria Industriale e

dell’Informazione

Scienze

Mediche

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Le regole stabilite dai burocrati bibliometrici

per la VQR…

… sono in conflitto con le strutture di autoregolazione

della scienza

La variabile osservata dal valutatore diventa l’obiettivo

da perseguire per il ricercatore

Con conseguenti comportamenti opportunistici: la loro

incidenza è tanto maggiore quanto minore la diffusione

dell’etica della ricerca nella comunità scientifica

Gli effetti della VQR e dell’ASN non tarderanno a

manifestarsi:

Alberto Baccini, VQR di area13

Una nomenclatura delle conseguenze negative prevedibili

Unintended effects

1. peggioramento delle performance citazionali indotto dall’adozione di liste di

riviste;

2. riduzione della ricerca di interesse locale (eucalipto);

Mainstreaming (economics; malattie rare)

Salami slicing

Retraction

Predatory publishing http://scholarlyoa.com/2013/03/07/report-details-predatory-practices-of-two-bosnian-journals/

Ghost authorship http://www.sciencemag.org/content/342/6162/1019.full

IF boosting http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-

citations.html

http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm#editorial_information

Alberto Baccini, VQR di area13

http://am.ascb.org/dora/

9596 sottoscrittori individuali; 409 organizzazioni

Alberto Baccini, VQR di area13