cpp di bologna –26 ottobre 2013 -bologna la valutazione della qualità educativa ... · cosa...
TRANSCRIPT
La valutazione della
qualità educativa:
cosa, come,
chi…PERCHE?Marisa Anconelli, sociologa,
Presidente Iress – Bologna,
tutor del CPP di Ravenna
Cpp di Bologna – 26 ottobre 2013 - Bologna
Cosa vorrei dirvi:
1. Partiamo dagli esiti: valutare
produce…
2. I fondamentali: il processo di
valutazione realizzato per ‘parole-
chiave’
1. Progettazione e valutazione
2. Valutazione: approccio e metodo
3. Qualità negoziata e valutazione
3. Riassumere con le immagini
Valutazione
formativa
(auto ed
etero)
1. Partiamo dagli esiti:
valutare produce…�concrete progettazioni
�riflessioni del gruppo di lavoro: su
come si è, come ci si pone,
� verso i colleghi,
� verso i bambini,
� verso le famiglie
�Valutazioni….sulla valutazione!!!!
Prima….
L’autovalutazione degli spazi ha evidenziato il
bisogno di riorganizzare il salone, chiamato
“piazza”, che risulta essere poco caratterizzato.
L’aspetto maggiormente positivo è stata la
collaborazione della famiglie coinvolte. La
regia del gruppo di lavoro ha permesso di
realizzare vari angoli tematici che permettono
ai bambini di organizzarsi in autonomia
…concrete progettazioni!
….dopo La tana
Angolo del mare Angolo del bosco
Spazio famiglie
Concrete progettazioni
Prima e dopo…
Accogliere i genitori e rassicurarli
è fondamentale.
Le educatrici e le assistenti
sono le “padrone di casa”,
ma il loro nome scritto
non è abbastanza
Riflessioni su come si è…come ci si
pone
Valutazioni sulla valutazione!
8
Tutto ciò discende da una ‘storia
nota’ e ‘importante’• l'art. 19 della L.R.1/2000: requisiti per l’accreditamento
– L’indice del progetto pedagogico costruito insieme, funzionale
ad orientare le équipe educative dei servizi nella stesura del PP
• Le linee guida per la valutazione della qualità educativa
dei servizi 0-3: ricompongono tre obiettivi� connettere la valutazione del progetto pedagogico all’accreditamento: esso
non è stato inteso come un fine ma come un mezzo o meglio un pretesto per
avviare una riflessione sui processi di valutazione e sulla cultura valutativa in
essere nei servizi della nostra regione;
�ricondurre la progettazione pedagogica ad un lessico condiviso evitando
l’omologazione linguistica, ma perfezionando e condividendo i concetti
fondamentali sottesi ai linguaggi diversi:
�fare della valutazione un’occasione per stabilire un patto tra servizi e famiglie,
servizi e amministrazione
L’origine e il
fine (di una
prima
tappa): le
linee guida
regionali
Le linee guida regionali sulla
valutazione contengono:
–Indice regionale del progetto pedagogico
–Dimensioni e criteri di valutazione (con
esempi di descrittori)
–Indicazioni sulla predisposizione degli
strumenti e delle procedure di valutazione
–Indicazioni relative alla documentazione,
comunicazione ed utilizzo formativo degli
esiti della valutazione
Valutare significa porsi delle domande di
senso: rispondervi significa costruire un
disegno di valutazione
• Quando (When)
• Dove (Where)
• Perché (Why)
• Chi, Per chi (Who)
• Cosa, con
quale approccio (What)
…valutare
11
Rispondere a queste domande significa
costruire un disegno di valutazione
(non solo strumenti…)
�Livello:• singolo servizio educativo (inteso come
servizio che accresce l’esperienza del bambino e che lo accompagna nel suo percorso di crescita ).
• livello intermedio (il CPP),
• livello macro (Regione)
�Obiettivo (perché): � valutare la qualità dei servizi educativi in
modo omogeneo a livello provinciale, regionale
�Cosa (oggetto della valutazione): � il gruppo di lavoro, i bambini, i genitori
A proposito
di ‘sistema’
�Per chi: (i destinatari della valutazione)– il gruppo di lavoro: le analisi valutative
devono essere finalizzate al miglioramento
della qualità dei servizi, al cambiamento degli
aspetti risultati carenti. Queste azioni di
miglioramento devono essere progettate e
portate avanti poi dal singolo gruppo di lavoro
– il coordinatore pedagogico
– i genitori, il territorio, i servizi: l’intero
processo valutativo deve essere
documentabile e comunicabile (quindi anche
documentato e comunicato)
– La Regione
Disegno di valutazione [segue]
A proposito di riflessività e di
comunità professionale
Disegno di valutazione [segue]
� Chi: (quali sono i protagonisti, gli attori della
valutazione)
– Il sistema di valutazione è impostato
sull’autovalutazione ed eterovalutazione.
– La valutazione coinvolge il coordinatore pedagogico e
il gruppo di lavoro a partire da un ‘patto’ di lavoro e
condivisione.
– Lo strumento/gli strumenti devono essere esito di
una riflessione comune prima tra i coordinatori del
coordinamento pedagogico provinciale e poi tra i
singoli coordinatori nei singoli servizi.
– Rispetto al chi valuta, viene comunque privilegiato
l’aspetto dell’autovalutazione da parte degli
operatori, realizzata anche tramite l’Osservazione e
la Documentazione.
– Per le considerazioni valutative finali viene coinvolto
sempre nella sua interezza il gruppo di lavoro
A proposito di
riflessività e valutazione formativa
Le linee guida presuppongono e
sistematizzano alcuni
presupposti:
i fondamentali
I fondamentali…per parole-chiave
QualitàValutazione
Progettazione
Primo ‘fondamentale’:
la progettazione pedagogica
La domanda cui vogliamo rispondere
è: che cosa valutiamo e perché?
Il progetto pedagogico
Dal progetto
pedagogico…alla
valutazione!
(il ‘senso delle
linee guida
regionali)
PROGETTO PEDAGOGICOindice regionale
Premessa
1. Finalità
2. Struttura organizzativa del servizio
3. Progettazione e organizzazione educativa del servizio
3.1 Criteri e modalità di organizzazione del contesto educativo
- Spazi e materiali
- Tempi
- Relazioni
- Proposte educative
3.2 Criteri e modalità di relazione e partecipazione delle famiglie e del rapporto con il territorio
3.3 Criteri e modalità di funzionamento del gruppo di lavoro
3.4 Valutazione
4. Durata
Un po’ di lessico: scripta manent…
Progetto pedagogico
• Costituisce il documento in cui si definisce l’identità e la
fisionomia pedagogica del servizio, declinandone gli
orientamenti e gli intenti educativi di fondo ed esplicitandone le
coordinate di indirizzo metodologico.
• Rappresenta un documento di impegni con il territorio e un piano
generale di azione, contestualizzato e realizzabile, in cui sono
precisate le finalità, i criteri e le modalità di organizzazione
educativa del servizio.
Progettazione
Progettazione
Progettare…
• Elaborare un piano di lavoro per il
futuro
• Diverso dal ‘programma’ che identifica
qualche cosa che deve essere fatto e
realizzato
Progettazione
Da non confondere con….
Progetto educativo• E’ il documento di pianificazione dell’attività
educativa elaborato annualmente da ciascun gruppo
di lavoro.
• Traduce a livello operativo le intenzioni educative e le
linee metodologiche definite nel progetto
pedagogico, descrivendo le ipotesi di lavoro concrete
e flessibili che verranno privilegiate nell’anno di
riferimento. Progettazione
Le parole-chiave…
Valutazione
Valutare è una azione complessa
• Non esiste una unica definizione di v.
• Nella letteratura in materia il termina ha una valenza
molto ‘elastica’
• Molti studi e indagini statistiche, testimonianze,
vengono classificati come ‘studi valutativi’ nella
accezione di valutazione come ‘espressione di
giudizio’
• Se si esamina la letteratura in materia sociale dagli
anni ‘70 ad oggi il quadro è molto variegato. Si
possono così riassumere due approcci differenti che
portano a differenti definizione di v.
• L’atto valutativo può
essenzialmente definirsi come
un’assegnazione di senso-valore
a un determinato evento o
processo educativo (e agli
oggetti, fatti elementi che lo
costituiscono).
Valutazione
Periodo diriferimento
Definizione della valutazione
*fine anni '60(approcciofunzionalista)razionalità assoluta
*è uno strumento per misurare levariazioni oggettive conseguenti un'azionerispetto a determinati criteri (efficacia,efficienza, impatto...)è giudizio e controllo sull'attività
*dalla secondametà deglianni '80(approcciocostruttivista)razionalità limitata“ragionevolezza”
*è uno strumento per trattare leinformazioni sulla base di un accordopreliminare dei criteri da utilizzare(soggettività, contingenza, consenso, auto-osservazione, comunicazioneinterpersonale, apprendimento dallaesperienza, creatività, flessibilità, modo diagire la complessità)
Come si può definire “valutazione”?
Modelli di valutazione Funzionalista Pragmatista (della
qualità) Costruttivista
Riferimento Gli obiettivi Gli standard Ciò che gli attori coinvolti definiscono come successo
Domande I risultati corrispondono agli obiettivi
I risultati corrispondono agli standard?
Che cosa è accaduto? Ciò che è successo è “buono”?
Teoria È possibile pre-definire obiettivi e risultati attesi che devono essere perseguiti
(causa>>>effetto)
In ogni situazione esistono standard di qualità con i quali confrontarsi
La realtà non si può prevedere, gli effetti inattesi sono importanti; i processi sono importanti (valutazione goal free)
Tipologia di strumenti per la valutazione
Di tipo quantitativo Di tipo quantitativo Di tipo qualitativo (analisi partecipata, analisi comparativa)
Valutazione
La valutazione è contestuale: - è applicata in contesti in cui gli interventi incidono e
trasformane risorse umane, processualità, procede per adattamenti e correzioni. L’attività in un ambito induce processi di trasformazione a catena in tutto il contesto circostante ed infine i cambiamenti avvengono comunque ed è difficile ‘pesare’ quanto è dovuto all’intervento attuato e quanto ad altre variabili non considerate e neppure prevedibili
la valutazione non si ha in un “vuoto normativo”• ad essa devono corrispondere obiettivi e condizioni di
fattibilità, delle coordinate di riferimento per la valutazione
Ecco perché la“valutazione ” è un processo di
‘apprendimento’ continuo
� Tipologie di valutazione
- Verifica
- Monitoraggio
- Valutazione ex ante
- Valutazione ex post
- Valutazione di processo
Valutazione
La valutazione differenzialeVALUTAZIONE
EX ANTE
VALUTAZIONE
IN ITINERE
VALUTAZIONE
EX POST
definizione Valutazione del processo che porta alla definizione
del progetto
Valutazione del processo di implementazione del
progetto
Valutazione del progetto
Perché si valuta - Per fornire conoscenza (analisi bisogno e offerta)
- Per rendere coerenti gli interventi con il contesto
- Per formulare correttamente gli interventi
-Per supportare la realizzazione degli interventi previsti
- Per ri-modulare gli interventi in corso
-Per determinare il livello di raggiungimento degli obiettivi
-Per verificare se gli interventi promossi hanno avuto ‘successo’, sono stati utili, ecc.
- Per ‘legittimare’ alcuni interventi
Quando si valuta prima della scrittura del Progetto
nel corso della messa in opera del Progetto
al termine del periodo di attività del Progetto
Cosa si valuta Il PROGETTO STESSO IL PROCESSO I ‘RISULTATI’
• Le fasi non sono rigidamente sequenziali se
non da un punto di vista logico: nella realtà
segmenti di stadi adiacenti possono anche
sovrapporsi senza comunque
compromettere la realizzazione e la
valutazione del Progetto
• La distinzione in fasi di avanzamento
consente di suddividere in tappe
elementari anche il processo di
valutazione e di attribuire a ciascuno stadio
‘un valore’.
Valutazione
la VERIFICA
• La verifica è un tipo di valutazione statica, è il confronto fra risultati attesi e conseguiti
• si presenta come una radiografia ragionata dell'esperienza realizzata, una lettura dei dati accumulati nel corso dello svolgimento dell'azione;
• ...ci dice che è avvenuta una trasformazione ma non ci garantisce che essa sia dovuta all'azione intrapresa...
• si pone alla fine dell'azione intrapresa e molto spesso si basa sui criteri di efficacia e di efficienza
• Altre volte la verifica è presente anche in momenti interni al processo, ma in questi casi si tratta di una analisi da applicare a diverse tappe del progetto definite all'avvio dello stesso. In tal modo il progetto risulterà essere composto al suo interno di diversi micro-progetti che saranno verificati quando ognuno di essi sarà concluso
progetto
verifica
p1
p2
p3
p1
p2
p3
v1
v3
v2
v1
v2
v3
progetto verifica
Valutazione
VALUTAZIONE EX POST
si considerano TRE MOMENTI DISTINTI:
• di output (esito) = gli interventi sono stati realizzati? (a partire dalle risorse impiegate secondo determinate modalità organizzative, operative e gestionali , ovvero dagli input)
• di outcome (risultato) = gli interventi sono stati realizzati “bene”? (per esempio rispetto ai costi – rapporto COSTO/BENFICI)
• di impatto = gli interventi sono utili per la popolazione target/hanno prodotto i benefici che si proponevano di produrre
• (?: lungo periodo; effetto “netto”, anticipazione, cannibalismo, effetti non previsti>>metodi sperimentali che usano gruppi di controllo (!)). Una alternativa è
utilizzare l’approccio Theory-based evaluation (Weiss 1995),
l’osservazione e l’autovalutazione
Valutazione
il MONITORAGGIO
è un sistema di valutazione parallelo al progetto
In fase progettuale si identificano delle variabili attraverso le quali si tiene sotto osservazione tutto il processo
è dispositivo di controllo continuo che procede lungo tutto lo svolgimento dell'azione programmata e valuta gli aspetti che permettono di conoscere
– l'andamento delle attività
– l'efficacia del processo.
•
variabile
variabile
variabile
monitoraggio progetto
�
�
�
�
processo
Valutazione
la VALUTAZIONE DI PROCESSOAffronta di norma l’aspetto procedurale di un intervento e
mira a analizzare:
� le relazioni e la gestione dei ruoli tra i soggetti coinvolti
� il modo in cui vengono raggiunti i destinatari degli
interventi
� le procedure di partecipazione adottate
� i fattori di successo incontrati nell’implementazione
dell’intervento, gli ostacoli incontrati in tale
implementazione
� tipo e quantità di azioni realizzate
� risorse utilizzate
� sviluppo di strategie operative adottate per il
raggiungimento degli obiettivi.
Valutazione
Ad esempio: dato il processo di
AvutovalutazioneMESSA A PUNTO
METH E
STRUMENTO SENSIBILIZZ.
OPERATORI
1. INFO INIZIATIVA
2. USO STRUMENTO PER
DEFINIZIONE Q.Ta’ (non comprensibile, cosa manca..)
3. Patto di lavoro e di condivisione
4. FORMAZIONE GLE all’uso strumento
TEST
Osservazione,
rilevazione,
controllo strumento
ELAB DATI
ANALISI
RISULTATI
RESTITUZIONE &
PRG/AZIONE
MIGLIORAMENTO
VALIDAZIONE STRUMENTO :
strumento finale
esito di una riflessione comune
tra i coordinatori e gli operatori
1. Come presentare al GLE il
sistema di valutazione
2. Come gestire il GLE
3. Quale patto di lavoro per la
valutazione della qualità del
servizio ed il suo
miglioramento
I CPP hanno
VALUTATO il
processo messo in
atto
Le parole-chiave…
Qualità
Quale qualità?• Eccellenza,• Prodotto tra input e output,• Soddisfazione cliente,• Corrispondenza ad obiettivi, • Adeguatezza a standard, • Negoziazione e senso
trasformativo
Promozione, controllo, certificazione, monitoraggio …
Qualità negoziata• La qualità ha natura negoziale,
partecipativa, ‘plurivocale’
• E’ contestuale e plurale
• Ha una natura autoriflessiva
• Ha natura trasformativa
• Ha natura formativa
• Ha natura processuale
Qualità
educativa
Le parole-chiave…
Auto-
valutazione
Qualità
E
Autovalutazione
• Ha senso evolutivo (e non cade nell’autoreferenzialità) solo in una logica di autoregolazione, cioè se viene prevista come possibilità di governo della propria operatività da parte dell’équipe educativa.
• Viene utilizzata in una logica di miglioramento (cambiamento) continuo
• Per l’autovalutazione della pratica educativa è importante per il gruppo di lavoro fare riferimento ad una descrizione condivisa (non solo nel singolo nido) di ciò che è ritenuto un servizio di qualità, facendo riferimento agli aspetti qualificanti l’identità pedagogica del servizio stesso. Tale descrizione viene poi articolata (in maniera negoziata) in un sistema di indicatori di qualità
• Esistono diversi strumenti per l’autovalutazione
Le parole-chiave…
Valutazione
partecipata
Qualità
E
Valutazione partecipata: condizioni
• Possibile solo se si condivide un obiettivo valutativo comune (NB: occorre esplicitare le reciproche posizioni rispetto alla valutazione e agli interessi)
• Si deve comunque trattare di un PERCORSO DI RICERCA
• CONDIVISO (che segue un preciso METODO)
• COMUNICABILE a terzi (stakeholder, decisori, beneficiari..)
• DOCUMENTABILE
Coinvolgimento del gruppo di lavoro
Autovalutazione+Eterovalutazione
Analisi e discussione
Definizione delle
priorità d'intervento
La valutazione come ricerca-azione
Chi valuta?
L’approccio scelto: il giudizio degli
operatori
Caravaggio
46
Chi valuta?
Altro approccio: il giudizio dei
destinatari
Gilbert
Les Halles, Paris
47
Condivisi alcuni
significati….RITORNIAMO alle
linee guida regionali sulla valutazione
–Indice regionale del progetto pedagogico
–Dimensioni e criteri di valutazione (con
esempi di descrittori)
–Indicazioni sulla predisposizione degli
strumenti e delle procedure di valutazione
–Indicazioni relative alla documentazione,
comunicazione ed utilizzo formativo degli
esiti della valutazione
La valutazione della qualità educativa
• DIMENSIONI: quali aspetti considero
come essenziali nell’identificare le
caratteristiche del servizio?
• CRITERI: in base a quali idee di qualità
giudico?
• INDICATORI/DESCRITTORI: quali
evidenze osservo per verificare la
realizzazione di un criterio?
• STRUMENTI E PROCEDURE: con quali
strumenti e procedure valuto?
Dimensioni Sottodimensioni Criteri
Organizzazione
del contesto
educativo
Spazi e materiali - Accessibilità
- Leggibilità e riconoscibilità
- Differenziazione funzionale
- Personalizzazione
Tempi - Prevedibilità e riconoscibilità dei tempi
quotidiani
- Personalizzazione
- Continuità e cambiamenti
Relazioni - Benessere
- Personalizzazione
- Socialità e processi di apprendimento
Proposte
educative
- Intenzionalità
- Significatività e continuità
- Varietà e coerenza
La funzione formativa della
valutazione• Il confronto e la discussione dei dati valutativi è
focalizzato sulle concordanze-discordanze di giudiziotra i valutatori e sugli elementi di criticità individuati,con lo scopo di�ricostruire il significato di determinate situazioni/processi
e far emergere le implicazioni concettuali e gli elementiimpliciti della pratica educativa (incrementare/rigenerareconsapevolezze di gruppo),
�individuare possibili ricadute operative della valutazione,nei termini di:�approfondimenti valutativi
� formazione
�azioni di miglioramento
Il lavoro di rete a livello di CPP• Il sistema di valutazione vuole promuovere il lavoro a livello di
CPP, non in chiave di certificazione-confronto tra i diversi servizi
ma in funzione dell’identificazione dei bisogni formativi del
territorio, del dialogo-riflessione sul tema della qualità
educativa e sulle sue modalità di valutazione e promozione.
• La documentazione degli esiti della valutazione (che deve
evitare in modo assoluto di riportare classifiche dei servizi)
dovrebbe essere intesa ad individuare alcune priorità di lavoro
del CPP, cioè di tematiche educative rilevanti per il territorio
che potranno essere oggetto di differenti iniziative negli anni
successivi.
• In questo senso il ruolo del CPP è inteso come centrale nel
processo di qualificazione del sistema integrato dei servizi.
Il ciclo triennale di valutazione-progettazione
(a livello di singolo servizio e di rete)
1° ANNO
Valutazione e individuazione delle priorità d'intervento
2° ANNO
Formazione e/o progettazione e
attuazione azione di miglioramento
3°ANNO
Formazione e/o progettazione e
attuazione azione di miglioramento
3. Per riassumere gli elementi
caratterizzanti il sistema di
valutazione della qualità
educativa…con le immagini
Movimento
55
Kandinskij
Monet
la costruzione…dal basso
56
Il rigore metodologico e l’ancoraggio alla progettazione
pedagogica
57
Mondrian
La sperimentazione rigorosa del modello di valutazione
Una comunità che dialoga e ricerca, che
alimenta una cultura pedagogia:
una comunità professionale
59
Raffaello
60
1. Gruppo di lavoro
educatori,
2. Valutatore del
servizio
3. Valutatore esterno
al servizio
La comunità
professionale si
alimenta anche
dagli esiti della
triangolazione
che avviene nel
processo
valutativo
61
E il sapere cresce
perché le
combinazioni
sono molteplici:
I processi e le
valutazioni non
sono dati una
volta per tutte e
il patrimonio di
conoscenze è
comune
….e
l’eterovalutazione?
Auto ed etero valutazione: due
facce di uno stesso processo
63
Torna più volte l’associazione
dell’etero valutazione agli
scambi pedagogici…
64
• Rappresentano una prassi ormai entrata nella comunità professionale emiliano-romagnola del
sistema dei servizi educativi per la prima infanzia della nostra Regione
• Anche uno scambio pedagogico va contestualizzato, motivato, e accolto: si va a chiedere agli altri come fanno le belle cose per imparare
• Anche gli scambi pedagogici presuppongono una condivisione profonda di esperienze
Grazie per l’attenzione!
65
Matisse