1 università degli studi di palermo facoltà di economia corso di laurea magistrale in scienze...
TRANSCRIPT
1
Università degli Studi di PalermoFacoltà di Economia
Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56)CURRICULUM: Economia e valutazione delle politiche pubbliche
Corso di
Metodi Statistici per la Valutazione delle Politiche
Crediti complessivi: 4 (24 ore)
Giuseppe Notarstefano
2
•Valutazione INTERMEDIA o di MEDIO-TERMINE
•Valutazione In Itinere ≠ MONITORAGGIO
•Valutazione dei risultati e degli impatti ai fini della definizione di INTERVENTI DI CORREZIONE SULL’ATTUAZIONE
La Valutazione In Itinere: questioni
rilevanti
3
•Monitoraggio finanziario e dell’attivazione della Spesa Programmata (meccanismi e automatismi di Disimpegno)
•Monitoraggio legislativo e normativo.
•Monitoraggio organizzativo.
•Monitoraggio delle realizzazioni, dei risultati e degli impatti.
Il Monitoraggio
4
•Dati primari e secondari:
• Primari ossia generati direttamente nella fase di implementazione e attuazione degli interventi (es: attraverso tecniche di Consultazione)
• Secondari ossia preesistenti ma connessi alla valutazione da un opportuno sistema di METADATI
Focus: basi di dati per la valutazione/1
•I dati sono “prodotti”:
• Ruolo e significato della Meta-Informazione
• La Qualità dei dati (concetto multidimensionale che attiene al processo di produzione ed a quello di comunicazione)
5
•Metadati e Meta-Informazione:
• Classificazioni, definizioni (Glossari) e Metodologie
• i metadati, secondo la nota definizione dell’International Organization for Standardization, sono insiemi di definizioni e classificazioni che ci consentono di leggere il dato all’interno di un contesto di riferimento: ad esempio la classificazione delle professioni piuttosto che le branche di attività economica. Non possiamo pertanto trascurare mai di porre domande del tipo: come sono stati prodotti questi dati? Chi è il soggetto che li ha pubblicati? Per quale finalità è stata progettata la rilevazione che li ha generati? Così come è cruciale, nella fase di presentazione e interpretazione, collocare il dato dentro un sistema di informazioni interne che ne favoriscono la lettura: dall’indicazione dell’unità di misura, al periodo temporale di riferimento, al livello di elaborazione del dato stesso (dato grezzo, numero indice, variazione, etc…).
• Tabelle, Grafici, Rapporti e Indici non sono i dati ma loro ELABORAZIONI
DATI INFORMAZIONE COMUNICAZIONE COMPRENSIONE
Focus: basi di dati per la valutazione/2
6
•La Qualità dei Dati:
• la rilevanza: è relativa al contesto di indagine in cui quel dato è utilizzato
• la trasparenza :si riferisce all’accessibilità ossia alla semplicità per l’utilizzatore di trovare, acquisire e comprendere l’informazione statistica disponibile
• la comparabilità:si riferisce alla possibilità di compiere confronti spazio-temporali dei dati statistici riguardanti un dato fenomeno
• la coerenza: si riferisce alle modalità di costruzione dei dati utilizzando standard metodologici e definizioni e classificazioni omogenee
• l’accuratezza: il grado di corrispondenza fra i valori ottenuti ed i valori reali della caratteristiche nella popolazione di riferimento
• la tempestività: connessa all’intervallo temporali che intercorrono tra il momento di rilevazione, quello di diffusione
• la completezza consiste nella sua capacità di fornire un quadro informativo esaustivo del dominio di interesse
Focus: basi di dati per la valutazione/3
7
•Le Fonti Statistiche:
Focus: basi di dati per la valutazione/4
Fonti ufficiali
Fonti parallele
Enti e istituzioni preposti alla produzione di statistiche dalla normativa vigente
Enti e istituzioni che producono statistiche con regolarità temporale, e li distribuiscono gratuitamente o a pagamento - a soci, abbonati, clienti.
• Istituti o enti che producono e/o diffondono dati statistici
• Funzione:rilevare elaborare e diffondere informazioni quantitative su fenomeni collettivi, in modo sistematico o periodico a fini conoscitivi e amministrativi
8
•Il sistema della Statistica Ufficiale: il SISTAN e l’ISTAT, la statistica 2.0 e il nuovo portale
•Fonti statistiche e dati amministrativi: prospettive di integrazione
•Banche dati on line ed off line– Data Warehouse – Sistemi Informativi (SIT e GIS)
•Principali Banche Dati pubbliche• La contabilità nazionale e territoriale secondo il SEC95• I Censimenti• Il Sistema degli Indicatori Statistici Territoriali (SITIS)• L’Atlante dei Comuni e l’Atlante provinciale delle Infrastrutture• Il Sistema degli Indicatori per le politiche di sviluppo• I Conti Pubblici Territoriali
Focus: basi di dati per la valutazione/5
9
•La Banca Dati dei Conti Pubblici Territoriali
• I Conti Pubblici Territoriali si riferiscono all’universo del Settore Pubblico Allargato ma consentono una articolazione flessibile per svariati sub-aggregati relativi a: macro-aree e regioni amministrative, classificazioni settoriali, categorie economiche, definizioni di spesa pubblica e soggetti finali di spesa.
I CPT
10
•La verifica del Principio dell’ADDIZIONALITA’
• Il principio di addizionalità stabilisce che, per assicurare un reale impatto economico, gli stanziamenti dei Fondi Strutturali non possono sostituirsi alle spese pubbliche dello Stato membro. La verifica dell'addizionalità ha luogo in tre momenti differenti di ciascun periodo di programmazione: ex ante, in itinere ed ex post.
• Nel ciclo 2007-2012: L'art. 15 del Regolamento CE n.1083/2006 prevede che le risorse dei Fondi che concorrono al conseguimento degli obiettivi della politica comunitaria abbiano carattere aggiuntivo rispetto alle risorse pubbliche nazionali destinate ai medesimi obiettivi.
• L'esperienza realizzata nel ciclo 2000-2006 ha segnalato forti difficoltà nel garantire l'aggiuntività della politica regionale comunitaria e nazionale nel Mezzogiorno e, di conseguenza, nel realizzare gli obiettivi complessivi per la spesa in conto capitale lungo il profilo temporale di riferimento. Proprio per questo, l'Italia ha attribuito grande importanza al principio di addizionalità, trasformandolo da obbligo regolamentare a strumento di politica economica e stabilendo l'obiettivo di spesa ex ante da perseguire su basi sufficientemente solide. Fondamentale a tal fine è risultata la possibilità di avvalersi di un sistema informativo estremamente efficace che ha consentito una migliore capacità di ricostruzione dei flussi di spesa, soprattutto attraverso la Banca dati CPT, di previsione delle spese, derivanti anche dai sistemi di monitoraggio e di maggiore chiarezza e certezza alla programmazione delle risorse attraverso l'utilizzo del Quadro Finanziario Unico.
I CPT
11
•La VEP è la valutazione che conclude il Programma (e il Ciclo!) e che ha come obiettivo la misurazione dei risultati, delle evidenze e degli impatti.
•Risultati e evidenze: valutazione delle Performance ossia assegnare un valore (quantificare/misurare) obiettivi/indicatori stabiliti nella fase di programmazione (VEA) alla luce degli esiti del programma
•ImpattiImpatti o Effetti Effetti ?: il SUCCESSO di una PP.
La Valutazione Ex-Post (VEP): fondamenti
e obiettivi/1
12
Valutazione Ex Post
LogicaLogica di di interventointervento di un di un programmaprogrammaRisorse
(umane, tecniche
e finanziarie)
Attività delprogramma
Realizzazioni
(beni e serviziprodotti)
Risultati
(effettiimmediati)
Impatti
(effetti di piùlungo termine)
obiettivioperativi
obiettivispecifici
obiettivigenerali
Effetti
Obiettivi delprogramma
Risorse(umane, tecniche
e finanziarie)
Attività delprogramma
Realizzazioni
(beni e serviziprodotti)
Risultati
(effettiimmediati)
Impatti
(effetti di piùlungo termine)
obiettivioperativi
obiettivispecifici
obiettivigenerali
Effetti
Obiettivi delprogramma
13
Programmao intervento programmato
Programmao intervento programmato
Conclusione, o t0
Conclusione dell’intervento
esitirealizzazioni
effettirisultati
impatti
Eff
etti
atte
sie
des
ider
ati
Eff
etti
ausp
icat
ie
des
ider
ati
esiti,effetti,impatti
realizzazioni,risultati,impatti
FattoriFattori
intervenienti
Eff
etti
inat
tesi
Valutazioneorientata agli
obiettivi
Valutazioneorientata agli
obiettivi
Valutazionesvincolata
dagli obiettivi
Valutazionesvincolata
dagli obiettivi
La logica dei Programmi comunitari
14
•La nozione di effetto: cruciale definizione per la misurazione• Effetto di che cosa su che cosa?
•L’individuazione di un nesso di causalità tra ciò che si è verificato e la PP: occorre identificare termini da misurare!
• La metafora della Terapia (Martini e Sisti, 2009): Variabile TRATTAMENTO e Variabile RISULTATO
•Concetti chiave: Esperimenti, Causazione, Covariazionee Concausazione (effetti multipli e circolarità)
La Valutazione Ex-Post (VEP): fondamenti
e obiettivi/2
15
•Valutare attraverso Logiche o disegni di tipo SPERIMENTALE e NON SPERIMENTALE (Quasi-Sperimentale).
•La nozione di CONTROFATTUALE
• L’impatto di una politica viene dunque definito come la differenza tra il valore della variabile-obiettivo, che rappresenta il risultato di interesse osservato dopo che è stata realizzata la policy ed il valore che la medesima variabile avrebbe assunto se non si fosse realizzato il programma.
• Quest’ultimo scenario, ovvero di assenza di intervento, viene definito come il “controfattuale”, naturalmente non è direttamente osservabile. Il problema da un punto di vista valutativo è dunque quello di arrivare ad una “buona” stima di quest’ultimo
La Valutazione Ex-Post (VEP): fondamenti
e obiettivi/3
16
•Micropolitiche e macropolitiche: una distinzione utile (Martini e Trivellato, 2011)
La Valutazione Ex-Post (VEP): fondamenti e obiettivi/4
Livello di Aggregazione Caratteristiche dell’intervento
Implicazioni per valutare gli effetti
Macro-area di intervento pubblico Popolazioni diverse, trattamenti eterogenei,
tempistiche differenti
Difficile definire l’effetto della politica
Pacchetto di Interventi
Pacchetto di interventi Stessa popolazione, trattamenti eterogenei,
tempistiche differenti
Problematico interpretare l’effetto
della politica
Singolo intervento
Singolo intervento
Singolo intervento
Singolo intervento
Stessa popolazione, trattamento
tendenzialmente uniforme, simile
tempistica
Possibile definire e interpretare l’effetto, restano i problemi
legati all’identificazione
causale
17
•Nascono sulla scia degli studi caso-controllo nell’ambito clinico-epidemiologico (ma anche agronomico);
• Il gruppo di controllo assicura il “controfattuale” e viene selezionato tramite scelta casuale (randomizzazione);
• Non-compliance with the assignment (non ottemperanza all’assegnazione): È il problema metodologico principale consiste nell’assicurare l’integrità dell’esperimento, ossia la separazione netta tra gruppo dei trattati e gruppo dei non trattati (tre problemi: 1) non show; 2) drop out; 3) cross over.
• L’effetto – a parità di condizioni rispettate nel disegno – è la differenza tra osservato e controfattuale.
•Applicabilità limitata a politiche non universali (a copertura parziale).
• Minacce (esterne) alla validità: difficoltà di generalizzare i risultati.
• Problemi di carattere etico-legale o politico
•Esempi nella tradizione anglosassone (Pilots UK e Demonstration USA).
La Valutazione Ex-Post (VEP): metodi
sperimentali
18
•Si basano sull’identificazione di una situazione CONTROFATTUALE come termine di paragone
• Si può scegliere una situazione non osservata riferita a ciò che “dovrebbe essere” : (Target quantitativi (quanto si è programmato di fare); Standard qualitativi (come dovrebbe essere fatto); Livelli osservati in passato (cosa si è fatto in passato); Livelli osservati altrove (cosa fanno gli altri) .
• Si può scegliere una situazione non osservata che si basa su ciò “che sarebbe successo” in assenza della politica (es: Disegno a serie storiche interrotte)
•Alla base di tale logica vi è lo schema di Rubin o dei risultati potenziali
• tale modello consiste nella possibilità di osservare (e misurare) la differenza di una variabile-risultato Y su un individuo i-esimo che ha ricevuto un trattamento (politica) Y1i ed uno che non l’ha ricevutoY0i
• Tale differenza (che indichiamo con δ )si osserva però in media, tenendo conto che, se esiste, l’effetto varia da individuo ad individuo
•Per una formalizzazione del modello si veda Martini e Sisti (2009)
La Valutazione Ex-Post (VEP): I metodi non
sperimentali
19
La Valutazione Ex-Post (VEP): Un approccio grafico
Controfattuale
Pre - intervento Post - intervento
Effe
tto
Tot
ale
Effe
tto N
etto
Beneficiari
Non Beneficiari
20
•La stima dell’effetto netto viene calcolata come DIFFERENZA NELLE DIFFERENZE tra l’EFFETO TOTALE (calcolato come differenza della variabile risultato calcolata nel gruppo dei beneficiari e della stessa calcolata nel gruppo dei non beneficiari) e il CONTROFATTUALE calcolato ipotizzando che alla fine dell’intervento si osservi sui beneficiari un intervento parallelo ai non beneficiari). Questo per due motivi che spieghiamo graficamente.
La Valutazione Ex-Post (VEP): Differenza nelle
differenze
Non è tutta colpa della politica……se le cose peggiorano
livello osservato livello osservato ““dopodopo””
controfattualecontrofattuale
differenza primadifferenza prima--dopodopo
effettoeffetto
pre- post-Intervento/evento
Y - Risultato
livello inizialelivello iniziale
tempo
Non è tutto merito della politica……se le cose migliorano
pre- post-
livello osservato livello osservato ““dopodopo””
Intervento/evento
effetto negativoeffetto negativo
differenza primadifferenza prima--dopodopo
tempo
livello inizialelivello iniziale
controfattualecontrofattuale
Y - Risultato
21
•L’applicazione di tali metodi offre migliori risultati in termini di stime in presenza di una base di dati che contribuisca alla significatività e correttezza delle valori stimati.
•Vi sono tuttavia alcune tipologie di problemi che possiamo riassumere in due grandi categorie tipiche della teoria della specificazione nei modelli econometrici:
• MINACCE INTERNE ALLA VALIDITA’• Autoselezione e dinamica spontanea• Fattori di confondimento (variabili omesse)• Effetto “fuoriuscita”• Effetti inerziali
• MINACCE ESTERNE ALLA VALIDITA’• Generalizzabilità dei risultati
•Strategie: analisi di robustezza, comparazione di più metodi, analisi di sensitività e.. Ovviamente incremento dei dati (sia come numerosità del campione che come gamma di variabili)
La Valutazione Ex-Post (VEP): questioni
metodologiche
22
•Si tratta di modelli che operano una analisi empirica relativa al funzionamento di strutture ossia di sistemi di relazioni fondate sulla teoria economica e su precisi modelli che orientano e specificano tanto la complessità dei soggetti e la natura dei loro modelli di comportamento quanto l’articolazione delle relazioni tra di essi a vario livello di aggregazione (tecnologico-settoriale piuttosto che geografico-territoriale).
•L’impatto, in tal senso, viene determinato (e misurato) come effetto della variazione di tale struttura e offre un’informazione di carattere generale e sistemica, tale specificità li rende particolarmente utili quali metodi più appropriati per le valutazioni ex ante, ma molti concordano sull’opportunità che essi possano essere utili anche nelle altre fasi del ciclo della valutazione.
•Ci riferiamo principalmente ai modelli basati sullo schema Input-Output e a loro evoluzioni come le matrici di contabilità sociale (SAM, Social Accounting Matrix) e le matrici di contabilità ambientale: si tratta in genere di strumenti analitici ampiamente implementati dagli istituti nazionali di statistica a corredo della tradizionale contabilità nazionale
VEP di Macro Politiche: brevi cenni
23
VEP di Macro Politiche: tipologie di
Impatto
•Dal punto di vista della dimensione (sfera): impatto economico, ambientale, sociale, …;
•Dal punto di vista del livello si osservazione: impatto macro, meso o micro;
•Dal punto di vista della motivazione di misura: impatto come contributo settoriale o come effetto di politiche;
•Da un punto di vista oggettivo o soggettivo
24
VEP di Macro Politiche: schema logico/1
Struttura
Stadi: occasioni, tempi, luoghi, territori
Pressione: movimenti, strutture, politiche
Struttura “modificata”dalla Pressione - Politica
Impatto = differenza, in qualche modo misurata
Positivo
Negativo
25
VEP di Macro Politiche: schema logico/2
TOTALE
…
Ambientale
Economica
TOTALE…AmbientaleEconomica
TOTALE
…
Ambientale
Economica
TOTALE…AmbientaleEconomica
Dimensione di studio
Tipologia di Impatto
= sulla diagonale principale i modelli tradizionali
26
•Una MACRO distinzione (di tradizione USA):
• ANALISI DI IMPLEMENTAZIONE (competenze di ricerca sociale)
• ANALISI DI IMPATTO (competenze di tipo economico - statistico)
•Approcci non rivali nella prassi, ma complementari.
La Valutazione Ex-Post: metodologie/1
27
•Il performance budgeting si fonda sul principio che il bilancio pubblico possa essere costruito basandosi sulla “performance” delle policies;
•Ciò equivale a dire che esso si possa fondare sugli obiettivi e sui risultati riscontrabili in termini di risultati (output) e di Impatti (outcome) da esse in qualche modo causati.
•Un tale approccio mira a rendere consapevole e empiricamente fondata la scelta, sempre molto complessa sul piano tecnico e assai sensibile da un punto di vista politico, di sostenere le PP con adeguate e equilibrate risorse finanziarie da evidenziare nel budget del settore pubblico.
•Si tratta, pertanto, di analizzare e verificare in maniera più puntuale l’efficacia delle singole politiche pubbliche – intese innanzitutto, in questo caso, come spese pubbliche.
Focus: Il Performance Budgeting: cenni
28
•Una sfida culturale prima di tutto.
•Dati e informazioni.
•Formare i valutatori, struttura le comunità scientifiche.
•Un approccio integrato: Analisi&Valutazione
•Il contributo che può venire dai territori nell’ambito delle politiche di sviluppo
•La sfida della misurazione degli effetti: ossia misurarsi con la valutazione del successo (o dell’insuccesso) con un approccio “laico”.
L’esperienza della valutazione delle PP in
Italia: questioni aperte e sfide