modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro /...
TRANSCRIPT
Modelli, metodologie e tecniche per il monitoraggio e
la valutazione delle politiche del lavoro
Marco Centra
ISFOL, Università La Sapienza
Acción SOL - Encuentro de Trabajo internacional
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Roma - Italia Lavoro, 20 maggio 2013
1. Introduzione
2. Finalità e forme di valutazione
3. Valutazione d’impatto
4. Approccio controfattuale
5. Metodi sperimentali e non sperimentali
6. Tecniche di valutazione degli effetti
Programma
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Politica: politics e policy
Politics. la competizione esistente tra gruppi e/o tra individui per la conquista e il mantenimento delle risorse necessarie all’esercizio del potere
Policy. l’insieme di azioni messe in atto da attori pubblici al
fine di affrontare un problema collettivo
L’oggetto di interesse dell’attività di valutazione sono le
policy vale a le azioni messe in atto per la soluzione di
un problema
1. Introduzione
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Definizione di valutazione
• “La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione,
intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti
esterni, che si fonda su un’attività di ricerca delle scienze sociali e che segue
procedure rigorose e codificabili”. Mauro Palumbo
• “Valutare significa analizzare se un’azione intrapresa per uno scopo
corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri,
ed esprimere un giudizio sullo scostamento che normalmente si verifica”.
Nicoletta Stame
• “La valutazione è principalmente (…) un’attività di ricerca sociale applicata (…)
avente come scopo la riduzione della complessità decisionale, attraverso l’analisi
degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione,
compresi quelli non riconducibili ad aspetti materiali (...)”. Claudio Bezzi
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
1. Introduzione
Definizione di valutazione.
• La valutazione è un’attività tesa alla produzione
sistematica di informazioni per dare giudizi su
azioni pubbliche, con l’intento di migliorarle”.
Alberto Martini, Marco Sisti
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
1. Introduzione
Finalità della valutazione
• Ottimizzare l’allocazione delle risorse
• Controllo delle performance delle organizzazioni
• Comunicazione dell’azione pubblica
• Controllo dei processi di attuazione
• Stimare gli effetti delle politiche
1. Introduzione
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Forme di valutazione delle politiche
1. Valutazione ex-ante
Verificare la corrispondenza teorica tra azione e risultato
2. Valutazione di implementazione
Analizzare il processo di attuazione delle politiche
3. Valutazione di impatto
Valutare gli effetti delle politiche
4. Valutazione di efficienza
Misurare il rapporto costi-benefici
2. Finalità e forme di valutazione
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Definizione
“Verifica della capacità dell’intervento adottato di trasformare la realtà nella
direzione voluta” (Martini, Sisti)
Ipotesi
Assunzione del rapporto di dipendenza causale tra azione e risultato
Possibilità di fondare il risultato della valutazione su robuste evidenze
empiriche
Azioni
Stimare gli effetti dell’intervento e acquisire informazioni sulla misura del
raggiungimento degli obiettivi posti
3. Valutazione d’impatto
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
La misura degli effetti della politica
Formulazione della domanda di valutazione
1. Definizione della variabile risultato: effetto su cosa
2. Definizione del trattamento: effetto di cosa
Effetto su cosa: identificazione della variabile risultato
Una quantità Y misurabile, osservabile e disponibile
Effetto di cosa: riduzione dicotomica dell’applicazione della politica
Una variabile binaria T che indica la presenza (T=1) o l’assenza (T=0) dell’applicazione della politica o trattamento
3. Valutazione d’impatto
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Formalizzazione analitica della stima degli effetti
Modello di Rubin dei risultati potenziali
Y = variabile risultato
i = individuo
T = applicazione del trattamento
t = momento di applicazione del trattamento
0iY
1iY
valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso sia stato trattato
valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso non sia stato trattato
3. Valutazione d’impatto
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
4. Approccio controfattuale
Generalmente, per un generico individuo, solo uno dei due valori è osservabile:
0iY
1iY se l’individuo i è stato trattato
se l’individuo i non è stato trattato
Si definisce effetto del trattamento sul singolo individuo come
differenza tra ciò che la politica ha prodotto sulla variabile obiettivo
e ciò che sarebbe accaduto in assenza della politica:
01iii YY
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
0101iiiii YEYEYYEE
L’impatto della politica è quindi definito, in termini di medie, dalla
differenza tra ciò che è accaduto ai trattati in seguito alla politica
attuata e ciò che sarebbe accaduto ai medesimi soggetti se la
politica non fosse stata attuata.
Con altra notazione, specificando che la media è calcolata sui soli soggetti trattati (T = 1), si ottiene:
1|1| 0101 TYETYEYYEE iiiii
L’effetto sul singolo individuo assume una scarsa importanza ai fini della valutazione. E’ necessaria una misura sintetica riferibile all’intera politica e non ai singoli individui: si ricorre generalmente alla media.
L’effetto medio del trattamento è ottenuto calcolando la media della quantità sul totale dei trattati
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Realtà fattuale
ciò che realmente è successo ed è stato osservato
Controfattuale
cosa sarebbe accaduto in assenza dell’intervento e non sarà mai osservabile
1|1 TYE i
L’obiettivo dell’operazione della valutazione d’impatto si riassume
nel calcolo di una quantità iE
1|0 TYE ie un parte non osservata e non osservabile:
composta da un parte osservata:
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Realtà fattuale. E’ per definizione osservabile ma non necessariamente osservata o, quantomeno, non in maniera esaustiva rispetto a quanto sarebbe necessario
Controfattuale. Non è osservabile per definizione. Rappresenta il problema maggiore per produrre una stima degli effetti netti della politica
La maggior parte degli sforzi messi in campo nel corso dello sviluppo della valutazione riguarda l’affinamento di tecniche di ricostruzione del controfattuale
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Poichè ciò che sarebbe accaduto ai trattati in assenza della politica non è una realtà osservabile, le strategie di identificazione degli effetti si servono di un gruppo di controllo di individui non trattati dalla politica per stimare la quantità 1|0 TYE i
0|1| 01 TYETYED iiOSS
Utilizzando un gruppo di individui non trattati le sole quantità osservabili sono:
1. la misura del risultato potenziale sui trattati in caso di trattamento
2. la misura del risultato potenziale sui non trattati in caso di non trattamento
Dalle due quantità si ottiene la differenza osservata
1|1| 01 TYETYEE iii
quantità che non coincide con l’effetto del trattamento definito in precedenza
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
0|1| 01 TYETYED iiOSS
La differenza osservata
1|1| 01 TYETYEE iii
a meno che si adotti l’assunzione:
non coincide con l’effetto medio del trattamento
1|0| 00 TYETYE ii
Ciò equivale a supporre che il risultato che si sarebbe avuto sul gruppo dei trattati in assenza di trattamento sarebbe uguale al risultato che si osserva, in assenza di trattamento, su un gruppo di non trattati.
Tale assunzione non è testabile e, nel caso non sia verificata, genera una grave distorsione sulla misura dell’impatto, detta distorsione da selezione
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Calcolando la media degli effetti potenziali separatamente sul collettivo dei trattati e dei non trattati si ottiene una utile espressione dell’effetto osservato:
0|1|1|1|
1|1|0|1|
0|1|
0001
0001
01
TYETYETYETYE
TYETYETYETYE
TYETYED
iiii
iiii
iiOSS
L’effetto osservato si scompone cioè in due addendi, uno dei quali è la misura dell’effetto della politica, obiettivo dell’intera operazione di valutazione d’impatto, e l’altro misura la differenza dell’effetto medio in assenza di trattamento tra trattati e non trattati. Tale quantità è determinata dalle sole differenze tra i due gruppi, dal momento che l’applicazione della politica è assente nella quantità
Tale quantità rappresenta la distorsione da selezione
0|1| 00 TYETYEED iiOSS
0|1| 00 TYETYE ii
4. Approccio controfattuale
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Le differenze nella composizione tra gruppo di trattati e gruppo di controllo genera distorsione nella misura dell’impatto delle politiche. La distorsione è tanto più elevata quanto le differenze incidono direttamente sulla variabile risultato, senza il tramite dell’applicazione della politica oggetto di valutazione. Una differenza tra i due gruppi che non influisce sulla variabile risultato non genera infatti alcuna distorsione.
Una complicazione ulteriore attiene al fatto che la differenza nella composizione tra i due gruppi che genera distorsione può riguardare anche caratteristiche non osservabili e pertanto non controllabili.
Una tecnica per eliminare le differenze di partenza tra i due gruppi deriva dalle procedure di sperimentazione clinica che si avvalgono di metodi sperimentali. e prevede l’attribuzione casuale degli individui al gruppo di trattati o al gruppo di controllo.
In tal modo, grazie al processo di randomizzazione, la composizione attesa dei due gruppi rispetto a tutte le caratteristiche, sia osservabili che non osservabili, è uguale.
5. Metodi sperimentali e non sperimentali
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
• Tecnicamente il metodo non è utilizzabile in caso di valutazione di politiche universali, applicate cioè a tutta la popolazione, dal momento che in tali casi non è possibile definire un gruppo di non trattati
• Sul piano etico appare inaccettabile escludere dalla fruizione di un beneficio individui che teoricamente ne avrebbero diritto solo per valutare in modo più preciso gli effetti della politica.
• Sul piano politico sarebbe difficile motivare l’esclusione di una parte dei potenziali fruitori di un beneficio con la sola necessità di valutare la politica.
• Sul piano metodologico le tecniche sperimentale non garantiscono totalmente dall’assenza di selezione, dal momento che individui appartenenti al gruppo dei trattati potrebbero abbandonare volontariamente la fruizione del beneficio (non compliance) reintroducendo una quantità di selezione tra due gruppi.
• Sul piano della disponibilità dei dati necessari alla valutazione occorre constatare che le informazioni si rendono disponibili generalmente dopo l’applicazione della politica, rendendo impossibile la costruzione ex-ante dei due gruppi.
E’ evidente la elevata potenza metodologica del metodo sperimentale. Tale metodo tuttavia non è generalmente applicabile alla valutazione delle politiche.
5. Metodi sperimentali e non sperimentali
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Per tali ragioni la valutazione delle politiche si serve di metodi non sperimentali. Tali metodi prevedono l’utilizzo di tecniche statistiche in grado di eliminare, o quanto meno ridurre, la distorsione da selezione e sono basate, in estrema sintesi, sul tentativo di spiegare il processo di selezione tra trattati e non trattati.
I metodi non sperimentali sono fondati su dati osservazionali, prodotti dal naturale corso degli eventi, a differenza di quanto accade nei metodi sperimentali che presuppongo invece di poter controllare gli eventi.
Le tecniche utilizzate impongono il ricorso ad assunti non verificabili, legati principalmente alla possibilità di spiegare totalmente il processo di selezione con i dati a disposizione., che rappresentano un sottoinsieme dei dati osservabili. Nei casi di studio, conoscenze pregresse sui fenomeni oggetti di valutazione indicano che la selezione tra trattati e non trattati è in gran parte spiegata da caratteristiche non osservate e spesso non osservabili.
5. Metodi sperimentali e non sperimentali
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Un’altra forma di distorsione: la dinamica spontanea
t-1
Y
t+1
T=1
T=0
Differenza
pre-post
Controfattuale
Effetto
5. Metodi sperimentali e non sperimentali
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
1. Metodo diff-in-diff
2. Modello di regressione lineare
3. Metodo dell’abbinamento (matching)
4. Discontinuità attorno ad una soglia (regression discontinuity design)
5. Analisi delle serie storiche interrotte
6. L’utilizzo delle variabili strumentali (IV estimator)
6. Metodi sperimentali e non sperimentali
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
6.1 Metodo diff-in-diff
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Y
Y(1,t+1)impatto
pre-post
Y(0,t+1)
Y(1,t-1)controfattuale
Y(0,t-1)
t-1 t+1 t
impatto
d = [ Y(1,t+1) - Y(1,t-1) ] - [ Y(0,t+1) - Y(0,t-1) ]
differenza pre-post controfattuale
6.2 Regressione lineare
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
TY
YE
YE
XTY
Trattati: [T=1] =>
Controllo: [T=0] =>
Impatto = Y(trattati)-Y(controllo) =
Indipendenza condizionale
L’abbinamento statistico. Presupposti fondamentali
Il metodo dell’abbinamento rappresenta una tecnica in grado di spiegare il processo di selezione in funzione dell’informazione accessoria disponibile.Lo schema prevede un gruppo di trattamento e un gruppo di controllo e la disponibilità per entrambi di informazioni in grado di “spiegare” l’appartenenza all’uno a all’altro.Presupposto fondante del metodo è la CIA (Conditional Independence Assumption). Tale assunzione ipotizza che per individui simili rispetto alle caratteristiche considerate l’attribuzione al trattamento sia casuale, assimilabile cioè ad un disegno sperimentale dello schema di valutazione.
Spiegare il processo di selezione
6.3 Abbinamento (matching)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
L’abbinamento statistico. Propensity score
La traduzione operativa e computazionale della similitudine tra
individui è impraticabile poichè comporterebbe la ripartizione dei
dati secondo tutte le caratteristiche nidificate che concorrono a
spiegare il processo di selezione.
Un sintesi proposta da Rosenbaum e Rubin nel 1983 prevede la
costruzione di una misura univariata, funzione delle caratteristiche
osservate, in grado di assegnare a ciascun individuo la probabilità
di essere trattato, indipendentemente dall’appartenenze al
gruppo dei tratti o a quello dei non trattati.
La costruzione del propensity score sfrutta tecniche statistiche
come i modelli probit o logit.
6.3 Abbinamento (matching)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
L’abbinamento statistico. Tecniche di abbinamento
Una volta disponibile il propensity score, il metodo prevede l’abbinamento di ciascuna unità trattata con una unità non trattata e il confronto tra i corrispondenti valori della variabile obiettivo.Le tecniche di abbinamento sono diverse e ciascuna presenta caratteristiche e proprietà specifiche.Nearest neighbor. Ad ogni unità trattata viene assegnata l’unità non trattata con il valore del propensity score più vicino.Radius. Ad ogni unità trattata vengono assegnate tutte le unità non trattate che ricadono all’interno di un raggio definito del propensity score.Stratificazione. Il campo di variazione del propensity score viene diviso in intervalli in modo che in ciascun intervallo le unità trattate e quelle non trattate abbiano lo stesso valore medio del propensity score.Kernel. A ciascuna unità trattata vengono assegnate tutte le unità non trattate ma con un peso inversamente proporzionale al valore del propensity score.
6.3 Abbinamento (matching)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
6.4 Discontinuità (regression discontinuity desing)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
0
100
200
300
400
500
600
700
800
900
1.000
0 20 40 60 80 100
P
Y
6.5 Serie storiche interrotte
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Si applica a politiche universalistiche dove non è identificabile un gruppo di controllo.
Si utilizza la storia pre-intervento immediatamente precedente all’intervento per stimare il controfattuale.
ATTENZIONEStagionalitàImplementazione graduale
impatto
6.6 L’utilizzo delle variabili strumentali (IV estimator)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Si applica quando si identifica un fattore esterno (STRUMENTO)che influenza il processo di selezione (T=1, 0) ma tale fattore non ha alcun effetto sulla variabile risultato Y.
Le tecnica consente di scomporre la propensione al trattamento (che genera selezione) in due parti:
1) dovuta alla decisione dell’individuo e ad altri fattori, che generano selezione2) dovuta a fattori esterni non controllati dall’individuo, che NON generano selezione
Si utilizza come trattamento solo la parte della che dipende da fattori non controllati dell’individuo
La randomizzazione è un caso estremo di strumento
6.6 L’utilizzo delle variabili strumentali (IV estimator)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro
Stimatore di Wald
)0|1Pr()1|1Pr(
)0|(1|ˆ
ZTZT
ZYEZYEWALD
Y laureati in città con ateneo – Y laureati in città senza ateneo
Numero laureati in città con ateneo – numero laureati in città senza ateneo
Un rapido esempio
Bibliografia di riferimento
• Alberto Martini , Ugo Trivellato, Sono soldi ben spesi? Perché e come valutare l'efficacia delle politiche pubbliche, Marsilio, (2011)
• Martini A. Sisti M., Valutare il successo delle politiche pubbliche, Il Mulino (2009)
• Bezzi C., Il disegno della ricerca valutativa, FrancoAngeli (2003)
• Rubin D.B., Estimating Casual Effect of Treatments in Randomized and Non-randomized Studies, Journal of Educational Psicology, n.66 (1974)
• Andrea Ichino, The Problem of Causality in the Analysis of Educational Choices and Labor Market Outcomes, Slides for Lectures (2006)
Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013
Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías
Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro