costruire il disegno di valutazione

Costruire il disegno di valutazione

Molinari Paolo – Zenarolla Anna

Summer School Housing First

Ragusa, 27 giugno 2014

1

Perché valutare e

cos’è la valutazione

Finalità della valutazione

Valutazione e ricerca valutativa

Gli approcci alla valutazione

2

Accountability

Learning

Empowerment

Finalità della valutazione

La valutazione è principalmente (ma non

esclusivamente) un’attività di ricerca sociale

applicata, realizzata, nell’ambito di un processo

decisionale, in maniera integrata con le fasi di

programmazione, progettazione e intervento,

avente come scopo la riduzione della complessità

decisionale attraverso l’analisi degli effetti diretti

ed indiretti, attesi e non attesi, voluti o non voluti,

dell’azione, compresi quelli non riconducibili ad

aspetti materiali; in questo contesto la valutazione

assume il ruolo peculiare di strumento partecipato

di giudizio di azioni socialmente rilevanti,

accettandone necessariamente le conseguenze

operative relative al rapporto fra decisori, operatori

e beneficiari dell’azione.

Adattato da: C. Bezzi, Il disegno della ricerca valutativa, Nuova ed. rivista e aggiornata, Franco Angeli, Milano 2003, p. 60

1) la valutazione è ricerca; se no è solo ...

chiacchiere

2) Ricerca “applicata”; è quello che distingue la

valutazione dalla ricerca di base, teorica

3) La valutazione e la sua ricerca nascono e si sviluppano in un contesto

decisionale

4) La valutazione serve al

decisore per ridurne la complessità del contesto decisionale

5) Si caratterizza

per una dimensione di partecipazione

4

La valutazione di un programma consiste

essenzialmente nella raccolta e

interpretazione di informazioni che

cercano di rispondere a una serie

specifica di domande su prestazione ed

efficacia di un programma.

Ogni valutazione deve essere adattata “su

misura” alle caratteristiche della

situazione del programma valutato, per

dare risposte utili alle domande

specifiche che vengono poste

5

Compito della Val. è verificare e

misurare se gli obiettivi sono stati

raggiunti: confronto con gli obiettivi

Verificare l’efficacia di un programma

per generalizzarlo: idea strumentale

della valutazione

Metodo sperimentale o quasi

sperimentale, tecniche quantitative

Può dimostrare che qualcosa si modifica,

ma non è in grado di dire perché ciò

avviene

6

>>> Positivista – sperimentale

Un programma va analizzato nel suo contesto,

sociale e istituzionale

Ogni volta che si vara un programma esso muta

a contatto col contesto

Non esistono altri criteri di successo se non

quelli che vengono definiti all’interno della

situazione specifica

Uso conoscitivo della valutazione, per

comprendere la situazione e potenziare le

capacità dei beneficiari di utilizzare il

programma

7

>>> Costruttivista – del processo sociale

turbolenza

evento

evento

decisione

imple-

ment.

equilibrio

gestione adattamento

sollecita-

zione

(precedenti) valutazioni di varia

natura

valutazione ex ante di risultati e

impatti

val. in itinere

Monitoraggio, valutazione in itinere e intermedia

valutazione in itinere ed ex post di

realizzazioni e risultati

valutazione ex post di impatti

ed ex ante

Decisione, gestione e cambiamento,

e il ruolo della valutazione

8

Il disegno della

valutazione e le

domande di valutazione

9

Il disegno della ricerca valutativa

[5 Sostegno all’uso

della valutazione

[3] Accertamento

delle risorse

[1] Definizione del

mandato

[2] Analisi obiettivi

dell’evaluando e

formul. domande

valutative

[4b] Stipulazione

valori valutativi

[4a] Esplorazione

spazio semantico

[4c] Definizioni

operative specifiche

[4] Definizione

disegno2 specifico

(offerta tecnica)

[4d] Raccolta e

analisi dei dati

10


1 – Definizione del mandato

Mandato = Perché me lo chiedi?

• Chi chiede (quale ruolo esercita, che poteri, bisogni,

interessi esprime …)?

• Chi altri sono coinvolti (beneficiari, ‘vittime’,

dipendenti, partner; clima generale, eventuali

conflitti, …)?

• Quali le finalità della valutazione (Controllare,

negoziare, rendicontare, …)?


2 – Obiettivi dell’evaluando e domande valutative

Domande valutative = Cosa è importante

analizzare?

• Cosa serve a voi decisori, gestori, operatori per

meglio decidere, gestire, operare?

• Quali obiettivi ha l’evaluando?

• Quale ‘teoria’ (logica) c’è dietro all’evaluando?

Adeguate fonti

informative

Orientamento

epistemologico

Evaluando

Metodo

Livello gestionale Livello metodologico generale Connessioni

Problemi

implicati


3 – Esplorazione campo semantico

Spazio semantico = Cosa valutiamo,

esattamente?

• Cosa intendiamo quando parliamo di …?

• Quali sono gli elementi strategici, costitutivi,

dell’evaluando (indicatori valutativi)?

Livello gestionale Connessioni

Valutazione ex ante

Formula un giudizio su interventi ipotetici

valutando le aspettative sugli effetti

Far riflettere i decisori di un intervento

sulle sue potenzialità attraverso una stima

dei suoi effetti e delle sue possibili

dinamiche.

Ponderare l’opportunità, la coerenza,

l’utilità e la rilevanza di procedere in un

senso piuttosto che in un altro

Si basa su elementi contestuali e sul

progetto/intervento in sè

14

Finalizzata ad aumentare la

razionalità decisionale offrendo

ulteriori elementi conoscitivi, ma

anche a ridurre la complessità/

conflittualità di alcune decisioni

che coinvolgono una pluralità di

interessi contrastanti

Accresce la legittimità di una

decisione

15

Valutazione in itinere

Si concentra sul processo ed è attenta a

cogliere i fattori imprevisti e quelli che

compromettono l’efficacia esterna di un

progetto/intervento

Cerca di “aprire la scatola nera” del processo

per capire il perché di certi risultati e restituire

una razionalità orientata alla correzione o alla

modifica degli errori durante la realizzazione

degli interventi

Consente di recuperare controllo alle funzioni

decisionali più distanti dall’operatività

concreta

Consente di attribuire le responsabilità rispetto

alla realizzazione

16

Valutazione ex post

Si focalizza sui risultati attesi e non

attesi di un intervento/progetto

Funzione riepilogativa, sommativa,

rendicontativa

Considera realizzazioni – output –

risultati – outcome – impatto – impact -

di un progetto/intervento

Difficoltà di raggiungere l’outcome e, in

particolare, l’outcome netto: influenza

del contesto

17

Garantire il controllo degli andamenti e

degli eventuali scostamenti nella fase

attuativa.

Il modello implementativo sotteso è di tipo

top-down e al monitoraggio si chiedono

informazioni in merito all’utilizzo delle

risorse finanziarie, organizzative e

temporali; alla coerenza tra le azioni

programmate e le specifiche di progetto; al

rispetto delle scadenze previste, ecc.

18

Funzione confermativa

Ricostruire bottom up le dinamiche

implementative, il sistema di relazioni tra

gli attori coinvolti nel processo e, in

generale, ad analizzare l’evoluzione dei

problemi legati al processo durante lo

svolgersi dello stesso.

Il focus si sposta dall’efficacia interna a quella

esterna; piuttosto che controllare l’andamento del

processo rispetto al modello implementativo

definito, qui il monitoraggio è inteso come

strumento in grado di migliorare il livello di

comprensione dei problemi affrontati e progettato

per rilevare dati utili ad analizzare il grado di

efficacia dell’intervento rispetto al problema.

19

Funzione esplorativa

costruire il disegno di valutazione

Government & Nonprofit