Controfattuale e valutazionedelle politiche per le imprese

Dossier di documentazione - 2Novembre 2009

CONTROFATTUALE E VALUTAZIONEDELLE POLITICHE PER LE IMPRESE

a cura di

Alessandra Cicali

Controfattuale e valutazione delle politiche per le impreseDossier di documentazione – 2Novembre 2009

Regione Toscana Giunta Regionale Direzione Generale Competitività del sistema regionale e sviluppo delle competenzeArea di coordinamento “Industria, Artigianato, Innovazione Tecnologica”

A cura di Alessandra CicaliBorsa di studio “Valutazione di interventi regionali a favore delle imprese” Referente Angelita LucianiSettore Ricerca industriale, Innovazione e Trasferimento Tecnologico

Dossier realizzato in collaborazione con Sviluppo Toscana Spa

2

Indice

CONTROFATTUALE E VALUTAZIONE DELLEPOLITICHE PER LE IMPRESE

1. Valutazione: uno strumento per decidere....................................................41.1 Che cos'è la valutazione.......................................................................5

1.1.1. Valutazione: i fondamenti teorici.........................................81.1.2. Valutazione: i fondamenti metodologici..............................9

1.2 Storia della valutazione......................................................................111.2.1 Istituzionalizzazione delle pratiche di valutazione.............121.2.2 Ruolo e sviluppo della valutazione nell'UE........................13

1.3 La valutazione e le sue funzioni.........................................................171.3.1 La valutazione ex ante.........................................................171.3.2 La valutazione in itinere......................................................181.3.3 La valutazione ex post.........................................................19

2. “Does it work?” Analisi controfattuale delle politiche pubbliche............202.1 Stimare la situazione controfattuale: metodi e tecniche.....................24

3. La valutazione delle politiche di aiuto alle imprese.................................303.1 Valutare le procedure di implementazione.........................................323.2 Impatto delle politiche per le imprese: il controfattuale....................34

4. Valutazione controfattuale:.......................................................................374.1 La legge 488/92 alla prova del controfattuale....................................37

4.1.1. Legge 488: esperienze di valutazione................................404.1.2 Il FSRA: metodi, obiettivi e risultati...................................57

4.3 La valutazione dell'impatto degli incentivi pubblici per la R&S: ilprimo caso tedesco...................................................................................63

4.3.1 Valutazione del programma di sostegno dei costi delpersonale di ricerca: metodi, obiettivi e risultati..........................63

4.4 L'impatto delle azioni di sostegno all'export nei Paesi in via disviluppo....................................................................................................66

4.4.1 La promozione dell'export nei Paesi in via di sviluppo:metodi, obiettivi e risultati...........................................................67

APPENDICE - Tecniche di ricerca per la valutazione.................................71

BIBLIOGRAFIA..........................................................................................94

3

1. Valutazione: uno strumento per decidere

La crescente complessità del contesto socioeconomico, la pluralità delleesigenze dei territori e le aumentate pressioni di vari gruppi di interesse suicentri decisionali pubblici hanno determinato, negli ultimi decenni, unamaggiore necessità di compiere analisi rigorose sui programmi dellepolitiche pubbliche.

I fattori che hanno concorso a rafforzare questa esigenza sono statiampiamente studiati nell'ambito delle Scienze dell'Amministrazione e sonomolteplici: dall'elevato grado di specializzazione decisionale dei livelli digoverno -con la conseguente dispersione di autorità attraverso processiframmentati e diversificati- alla progressiva interdipendenza tra gliinterventi; dalla trasversalità degli obiettivi, sia rispetto ai confini territorialiamministrativi che ai tradizionali settori delle politiche pubbliche, allapluralità dei livelli di governo; senza dimenticare la moltiplicazione deicentri di pressione economica, sociale e istituzionale contestualmente allaprogressiva contrazione delle risorse finanziarie disponibili.

In questo contesto è utile ricorrere in modo sempre più frequente epuntuale ad attività di valutazione delle politiche pubbliche, in particolareattraverso l'uso di indagini di tipo controfattuale. D'altronde Fabrizio Barca(Dirigente generale presso il ministero italiano dell'Economia e delleFinanze) dedica alla valutazione delle politiche di coesione il “pilastro 7”del suo “Rapporto”1, indicando nel controfattuale un'efficace risposta alleesigenze valutative:

...i risultati più promettenti sono offerti da una famiglia dimetodologie definite con il nome di “controfattuale” e orientate avalutare l'impatto di un intervento, stimando quale sarebbe stata lasitazione se questo non avesse avuto luogo, principalmenteanalizzando quanto è avvenuto presso una popolazione “abbastanzasimile” a quella trattata, ma non interessata dalla politica pubblica.Le informazioni richieste da questo metodo sono ingenti. Mentre lerisposte che offre sono limitate. In particolare, non permette dicapire “come” un intervento funziona, né può offrire indicazionicerte sull'eventualità che un intervento generi gli stessi effetti seapplicato ad un altro gruppo o ad un altro contesto. Relativamente acosa funziona, però, la valutazione controfattuale è più efficace eaffidabile di altri metodi. Inoltre, quando la valutazione di impatto èprogettata parallelamente all'intervento può avere un forte effettodisciplinare creando, per i policy maker, un incentivo a concentrarsisugli obiettivi e sulla sezione dei beneficiari.

(in traduzione dal Rapporto Barca, aprile 2009).

1 Si tratta del cosiddetto “Rapporto Barca”: An agenda for reformed cohesion policy. Aplace-based approach to meeting European Union challenges and expectation, aprile2009, rapporto indipendente richiesto dal Commissario per le politiche regionali, DanutaHübner.

4

1.1 Che cos'è la valutazione

Facendo un passo indietro, dal concorrere degli elementi precedentementecitati deriva la forte esigenza di legittimazione, razionalizzazione etrasparenza dei processi decisionali pubblici che, almeno in parte, ha trovatorisposta nella diffusione e nel radicamento della pratica della valutazione,intesa come analisi sistematica, condotta con i metodi della ricerca empiricae mirata al miglioramento dei programmi delle politiche pubbliche,attraverso la formulazione di giudizi sulla loro progettazione e attuazione,sulla loro efficacia e sull'impatto che determinano. In altre parole:

...the application of systematic research methods to the assessment ofprogram design, implementation and effectiveness (Chelimsky, 1989)

Emergono da questa definizione alcune delle principali caratteristichedella valutazione, innanzitutto, si tratta di:

✗ un'osservazione della realtà empirica✗ praticata attraverso procedure rigorose e codificate✗ mirata alla formulazione di giudizi ✗ orientata ad applicazioni future

Importante è rilevare che i giudizi in questione sono di tipo comparativoe non assoluto. Si formulano, infatti, attraverso il confronto della realtàrilevata con gli obiettivi attesi, con gli standard o i valori di benchmarkprecedentemente stabiliti o con ricostruzioni della situazione controfattuale(cfr cap. 2), sulla base delle diverse possibili domande di valutazione.

Elemento da cui non prescindere, inoltre, è la presenza di committentidell'attività di valutazione, coinvolti direttamente sia nei processi decisionalie nelle fasi di progettazione e implementazione della politica da valutare,che nel processo di valutazione (Lippi, 2007).

Del resto, questo coinvolgimento dei policy maker nell'attività valutativaappare del tutto naturale se riconosciamo la valutazione come parteintegrante dei processi decisionali che portano alla formulazione eall'implementazione della politica pubblica, nell'ambito delpolicy/programme cycle (EVALSED, 2007-2013), illustrato nella figura 1.

In ogni fase dello sviluppo dell'azione pubblica, infatti, è necessariopraticare un'attività di riflessione che produca conoscenze e giudizicondivisi, fondati su osservazioni razionali e oggettive.

5

Figura 1Ciclo di programmazione e valutazione delle politiche pubbliche

Elaborazione da EVALSED 2007-2013

Ciascuno dei passaggi, illustrati nella figura 1, del resto, presentanecessità valutative diverse. In fase di programmazione (cfr par.1.3.1), peresempio, un ruolo chiave della valutazione è quello di raccogliereinformazioni dai vari stakeholder e attori pubblici , al fine di assicurare che iprogrammi rispondano ai bisogni dei destinatari della politica. Talefeedback, comunque, non riguarda questa sola fase: in momenti successivi, èutile confrontarsi direttamente con i destinatari effettivi e potenzialidell'intervento.

Nell'ambito della valutazione ex ante, inoltre, si operano valutazionimirate alla scelta degli strumenti e degli interventi più adatti a raggiungere ifini cui le politiche pubbliche sono destinate. Quindi si valuta per sceglieretra alternative relative ai programmi da attuare.

In fase di implementazione (cfr par. 1.3.2), invece, la valutazione è volta acapire il modo in cui il programma è condotto e gestito. Attraverso ilmonitoraggio e l'analisi delle difficoltà di gestione incontrate, infatti, si puòoperare una correzione di medio-corso dei problemi rilevati. L'obiettivoovviamente è quello di migliorare il funzionamento dell'amministrazioneche applica la politica. Attività di valutazione riconducibili a questa fasesono il controllo di gestione e la certificazione di qualità.

6

Formulazione dellapolitica

Programmazione

Valutazione di fattibilità (ex ante)

Avvio della politica

Implementazionedel programma

Valutazione in itinere

Revisione della politica

Conclusione del programma

Valutazione dei risultati (ex post)

Una volta concluso il programma (cfr par. 1.3.3) è utile verificare qualisiano stati i risultati 2 , l'impatto 3 e gli effetti 4 dell'intervento , con particolareattenzione alle conseguenze inattese (positive o negative) e agli effettiperversi che l'azione può aver provocato. Nell'analisi ex post, la difficoltàmaggiore è quella di isolare il rapporto causale tra l'intervento e il suoeffetto, da altri fattori esterni e indipendenti dall'azione pubblica. A questofine si utilizza l'indagine controfattuale, ovvero quella tesa a confrontare larealtà osservata con la situazione che si sarebbe presentata in assenza diintervento (cfr cap.2).

Inoltre, nella ciclicità del processo di valutazione-programmazione dellepolitiche pubbliche è implicito un orientamento al futuro, nell'ottica di unperfezionamento continuo dell'azione di governo, da un lato attraverso unprocesso di apprendimento (capacity building), dall'altro nell'otticadell'accountability.

Rientrano nell'ambito dell'apprendimento due importanti funzioni dellavalutazione:

✗ la produzione di riflessioni e conoscenze, al fine di correggere glierrori e migliorare le performance. Questo avviene attraverso lacontinua ridefinizione di problemi e soluzioni, resa possibile dallanatura retrospettiva dell'attività di valutazione (teoria sistemica delpolicy making).

✗ la creazione di consapevolezza derivante dall'interazione trastakeholder e contesto, attraverso l'attivazione di processipartecipativi e condivisi. In questa accezione, la valutazione è ingrado di far emergere bisogni, carenze e richieste (collettivi) e diprodurre capacità di riflessione e informazione, così da generareconoscenze e fini condivisi (empowerment).

Sul piano dell'accountability, invece, il ruolo della valutazione è quello di“responsabilizzare” i policy maker rispetto ai programmi che adottano. Sitratta, in altre parole, di render conto della buona riuscita della propriaazione. La valutazione, così, permetterebbe di esercitare un controllo su chiè preposto a prendere le decisioni legittimandone (o meno) l'operato.

2 Vantaggi (o svantaggi) che i beneficiari diretti hanno ottenuto dalla partecipazione ad unprogramma di intervento pubblico giunto alla sua conclusione. I risultati possono essereosservati al momento in cui un operatore ha portato a compimento l'intervento e si trova arendere conto del modo in cui ha allocato e gestito i fondi pubblici (EVALSED, 2007-2013)3 Conseguenza diretta o indiretta di un intervento, ormai concluso, sui destinataridell'intervento (nel medio o nel lungo termine) o su beneficiari indiretti. L'impatto puòessere osservato anche al livello macro (impatto globale). Gli impatti possono esserepositivi o negativi, attesi o inaspettati (EVALSED, 2007-2013).4 Cambiamento di tipo sociale e economico che risulta direttamente o indirettamentedall'implementazione di un intervento. Gli effetti includono i risultati e gli impatti di unintervento, sia positivi che negativi, attesi o inattesi (EVALSED, 1998).In modo più tecnico, possiamo definire l'effetto di una politica come il cambiamento nellavariabile-risultato attribuibile in senso causale alla variabile trattamento (Sisti, 2007). Un'altra definizione rigorosa è quella che sottostà al “modello dei risultati potenziali”teorizzato da Rubin (1974), per cui l'effetto causale del tattamento T sull'i-esimo individuocorrisponde alla differenza tra due risultati potenziali, quello dell'esposizione di “i” altrattamento e quello della non esposizione di “i” al trattamento.

7

Un'ultima caratteristica che contraddistingue la policy evaluation è quelladella transdisciplinarietà. L'azione pubblica, infatti, riguarda i campi piùdisparati: da quello sanitario a quello ambientale, dal sociale all'economico.

A questa varietà di materie, corrisponde altrettanta varietà di necessità,applicazioni, approcci metodologici. Per questo, lo sforzo di definire lanatura e le funzioni della valutazione secondo uno schema unico potrebberisultare vano e persino riduttivo. Infatti, non solo le pratiche e le tecniche divalutazione sono molteplici, ma anche l'impianto teorico che ne costituiscela ratio non è univoco.

1.1.1. Valutazione: i fondamenti teorici

La letteratura esistente in materia di valutazione permette di ricondurre lepratiche valutative ad alcuni modelli teorici, tra loro diversi. Il piùimmediato è quello che si riferisce alla teoria positivista. Questa tradizione,tipica delle scienze naturali, si fonda sulla convinzione che sia possibileottenere una conoscenza oggettiva attraverso l'osservazione. Anche nellescienze economiche e sociali, quindi, sarebbe possibile praticare esperimentiripetibili, con l'obiettivo di descrivere regolarità e leggi, basate su linearirapporti di causa-effetto. L'obiettivo di questo approccio sarebbe, nelmigliore dei casi, quello di produrre evidenze quantificabili sulla relazionetra input e outcome di un intervento pubblico, utilizzando perlopiù modellieconometrici applicabili alla valutazione.

Lo schema galileiano, però, presenta grossi limiti qualora lo si vogliaapplicare allo studio dei fenomeni socio-economici. Gli ostacoli sonoevidenti: in primo luogo è tecnicamente impossibile ripetere l'esperimentoceteris paribus, laddove le condizioni sono complesse e difficilmentecontrollabili, in secondo luogo la stessa misurabilità degli outcome èfortemente limitata.

In particolare, i fattori che limitano la misurabilità dei fenomenisocioeconomici sono i seguenti (EVALSED, 2007-2013- THE GUIDE):

✗ l'osservazione di una realtà generalmente complessa e incompletarichiede necessariamente un'interpretazione;

✗ ciò che viene osservato è sempre mediato, semplificato o distorto daimetodi e dalle tecniche utilizzati per raccogliere i dati;

✗ difficilmente si possono riscontrare regolarità e leggi che nonvariano sulla base del contesto locale;

✗ gli stessi fenomeni cambiano nel tempo e interagiscono spesso inmodo imprevedibile;

✗ lo studio del contesto socioeconomico non prescinde da giudizisoggettivi.

Agli antipodi dell'approccio positivista, troviamo quello costruttivistache, nella convinzione che i fenomeni sociali (e quindi anche economici)siano il semplice costrutto dell'interazione tra gli universi simbolici degliattori che compongono la società, abbandona la centralità dei rapporti causa-effetto (nel nostro caso tra l'implementazione delle politiche pubbliche e iloro risultati) e si concentra sullo studio in profondità dei processi e delle

8

dinamiche che hanno prodotto un certo esito. Il valutatore sarebbe quindicostruttore di un sistema di significati e relazioni negoziati con glistakeholder all'interno dell'arena di policy making. Strumenti privilegiatidella valutazione sarebbero, quindi, quelli della ricerca qualitativa: dal focusgroup all'osservazione partecipante.

In posizione intermedia tra i due estremi precedentemente descritti,troviamo l'approccio pragmatista e quello realista.

Nell'ambito del pragmatismo si raccolgono una serie di riferimentiteorici e metodologici anche piuttosto eterogenei tra loro, ma accomunatidall'intento di risultare funzionali a contesti circoscritti, abbandonandoqualunque volontà di generalizzazione. Il valutatore quindi, alla stregua diun consulente, risponde ad un bisogno cognitivo specifico esplicitamenteespresso dagli stakeholder.

Infine, l'approccio realista, che si è andato affermando nell'ultimodecennio, sembra mirato a trovare una posizione di sintesi tra costruttivismoe positivismo. Si recupera, infatti, la centralità di un nesso causale trainterventi e risultati, ma ponendo l'attenzione sul contesto di riferimento. Inaltre parole, la ratio di questo approccio si fonda sulla convinzione chenessun programma di intervento è valutabile a prescindere dal contesto incui è stato applicato: un programma è valido se funziona in più contesti.L'obiettivo del valutatore è quindi quello di individuare alcune regolaritàrilevanti nello schema contesto-meccanismo-risultato. Il ruolo dei valutatoriè quello di sottolineare i meccanismi causali e spiegare perché le cosefunzionano in contesti differenti, aprendo la scatola nera (black box) checela i sistemi di interazione tra contesto, programma e risultati.

1.1.2. Valutazione: i fondamenti metodologici5

Seppur con le significative differenziazioni presenti sul piano teoricoprecedentemente descritte, al fine di evidenziare alcuni elementi essenziali ecostitutivi dei processi di valutazione, può risultare utile ricondurre le variepratiche ad uno schema metodologico comune.

Innanzitutto possiamo dire che nella valutazione è sempre implicito unnesso di causa – effetto tra la politica pubblica applicata e il risultatoprodotto. La differenza tra i vari approcci si concentra, al più, sulle modalitàcon cui questo rapporto causale tra il programma della politica pubblica el'effetto osservato/atteso viene isolato da altre possibili e molteplici cause.

L'obiettivo comune a tutti gli approcci, quindi, è quello di separare larelazione causale tra intervento e risultato, dalle altre cause checontribuiscono a produrre lo stesso esito senza distorcere il fenomenoindagato.

A questo fine è necessario:

✗ identificare e circoscrivere l'oggetto da valutare (fenomeno)✗ stabilire gli aspetti del cambiamento che si vogliono osservare

(criterio)✗ utilizzare un elemento di confronto (parametro)

La prima delle tre fasi non può prescindere da un confronto con glistakeholder con cui precisare quale sia l'effetto atteso dell'intervento.

5 Paragrafo liberamente tratto da Lippi, 2007

9

Il secondo passaggio, con cui si stabiliscono i criteri sulla cui baseeffettuare le osservazioni del fenomeno, è necessario per compiereun'operazione di semplificazione. Questo step è nuovamente frutto diun'attività di negoziazione tra stakeholder e valutatori, per quanto esistanocriteri di valutazione ormai diffusi, quali:

✗ l'efficienza ovvero il confronto tra i risultati e le risorse, non solofinanziarie, impiegate per ottenerli,

✗ l'efficacia - interna, ovvero il rapporto tra i risultati ottenuti e gli obiettiviprefissati ed - esterna ovvero il rapporto tra i risultati ottenuti e i bisognipreesistenti,

✗ l'economicità intesa come analisi del rendimento dell'interventopubblico valutando il contenimento dei costi a parità di risultati,

✗ la rilevanza volta a verificare la corrispondenza tra obiettivi ebisogni,

✗ l'utilità volta a verificare la corrispondenza tra obiettivi esoddisfazione dei destinatari,

✗ l'equità intesa come rapporto tra la distribuzione dei costi e ladistribuzione dei benefici,

✗ la coerenza - interna corrispondenza tra obiettivi e finalità del programma, - esterna corrispondenza tra obiettivi e indirizzi politici dei decisionmaker

Il terzo stadio, infine, prevede la definizione di un parametro di confrontoche costituisca la misura di riferimento della comparazione alla base dellavalutazione. Come prima accennato (par. 1.1), infatti, la valutazione si fondasu giudizi comparativi, poiché si definisce sulla base di un confronto deirisultati con standard (valore arbitrario indicato dagli stessi policy maker infase di definizione degli obiettivi), benchmark (valore esemplare stabilito daesperti sulla base del confronto tra diverse performance) o situazionecontrofattuale (valore/situazione che si sarebbe rilevata in assenza ditrattamento).

1.2 Storia della valutazione: dalle prime esperienzeall'istituzionalizzazione delle pratiche valutative

Il ruolo della valutazione come disciplina autonoma emerge per la primavolta nel Nord America, durante gli anni del dopoguerra. Questi primi passimossi nella direzione della valutazione delle politiche pubbliche sirifacevano essenzialmente a tre filoni di intervento: quello nel settoredell'istruzione, con l'obiettivo di testare i nuovi curricula scolastici, quellolegato alla corretta allocazione delle risorse finanziarie e quello dellavalutazione dei programmi per combattere la povertà. In questi anni,pratiche valutative non ancora svolte in modo sistematico hanno iniziato a

10

diffondersi anche nei Paesi nordici dell'Europa (in particolare inScandinavia, Paesi Bassi e Gran Bretagna) dove, comunque, un primoradicamento delle pratiche di valutazione ha luogo negli anni Sessanta eSettanta. In questo periodo, l'attenzione si concentrava su alcuni modellieconomici formali utili per valutare l'impatto dei programmi delle politichepubbliche. Queste attività di valutazione erano perlopiù riservate agliambienti universitari e ai centri di ricerca e la valutazione eraessenzialmente ex post. In questa fase si sono diffuse tecniche di valutazionequali l'analisi shift-share6 che è stata molto utilizzata per l'economiaregionale, le tavole input-output7 e altri metodi econometrici per lavalutazione. Tuttavia queste tecniche hanno rapidamente conosciuto unrelativo declino, in particolare per il fatto che questi metodi si adattavanopoco allo studio del cambiamento nel comportamento degli agentieconomici, elemento di conoscenza essenziale in economie sottomesse agliintensi processi di ristrutturazione che si sarebbero praticati di lì a poco.Non a caso, negli anni Ottanta, l'approccio alla valutazione si sarebbemodificato sensibilmente: l'attenzione si sarebbe concentrata sull'obiettivodi misurare il grado di efficienza della gestione delle risorse pubbliche, peresempio attraverso l'utilizzazione del rapporto costi- efficacia. È il periododell'approccio value for money, l'obiettivo è quello di minimizzare i costi aparità di risultato ed è dettato dall'esigenza di razionalizzare l'allocazionedelle risorse finanziarie pubbliche. Questo movimento ha coinciso con leriforme del settore pubblico di molti Paesi e trova la sua concreta traduzionenelle guidelines della Audit Commission degli Stati Uniti e nella FinancialManagement Initiative8 del Regno Unito. Grande merito di questo approccioè l'aver permesso di ampliare e diffondere la pratica della valutazione, fino aquel momento orientata al breve termine e confinata alla pratica di ristrettigruppi di esperti. Il principale fallimento di questo approccio, invece, risiedein due punti di debolezza: quello di risultare relativamente sconnesso dalcontesto di riferimento e quello di limitarsi allo studio dei soli effettieconomici direttamente misurabili o convertibili in termini monetari,tralasciando tutti gli aspetti sociali e qualitativi che sfuggono ai criteri diefficienza in senso stretto (Mairate, in Jacob et al., 2007).

Così, tra gli anni Ottanta e Novanta, si è assistito all'emergere di una seriedi approcci che tendono a combinare la ricerca con l'azione a caratterepartecipativo, mettendo l'accento sul fenomeno dell'apprendimento e sulcarattere democratico della valutazione. Il denominatore comune di questiapprocci sta nel fatto che, oltre a definire gli effetti delle politiche pubbliche,tenta di comprendere come queste funzionino e attraverso quali processi sisiano ottenuti certi risultati.

6 L'analisi shift-share è una tecnica che consente di scomporre il tasso di crescita di unagrandezza economica in componenti strutturali e locali.

7 La prima teorizzazione delle tavole input output fu praticata da Wassily Leonitef nel 1941,si trattava di matrici quadrate in grado di rappresentare schematicamente le interrelazionitra i vari settori di un sistema economico, in termini di output (beni e servizi prodotti daciascun settore) utilizzati in altri processi produttivi come input (fattori di produzione). Solonegli anni Sessanta Richard Stone applicò il modello ai sistemi di contabilità nazionale,ragionando in termini di risorse e applicazioni.

8 La Financial Management Initiative (FMI) è stata lanciata nel 1982 nel Libro BiancoEfficiency and Effectiveness e prevedeva l'introduzione di un sistema computerizzato digestione dei budget.

11

1.2.1 Istituzionalizzazione delle pratiche di valutazione

Nel ripercorrere la storia del radicamento della pratica valutativa, èimportante rilevare che si è assistito ad una progressiva istituzionalizzazionedi questa pratica. In altre parole, la valutazione, inizialmente applicata inmodi e contesti informali, è stata progressivamente dotata dei caratteridell'obbligatorietà, inquadrata in sedi ufficiali e munita di staff ufficialmenteed esclusivamente preposti a questo compito. Istituire luoghi stabili ericonosciuti per compiere i processi di valutazione, del resto, significa anchefacilitare la professionalizzazione della materia valutativa, creando expertisespecifici. Si tratta di un passaggio che, come accennato precedentemente, hariguardato prima i Paesi anglosassoni e solo successivamente quelli europeiche, in alcuni casi (Paesi scandinavi, Germania, Paesi Bassi e Francia)hanno provveduto a istituzionalizzare le pratiche di valutazione negli anniSettanta-Ottanta, in concomitanza con l'Unione Europea che fece un primotimido passo in questa direzione nel 1988, all'atto dell'istituzione dei FondiStrutturali. Diversa è l'esperienza dei Paesi dell'Europa meridionale, dove lapolicy evaluation è stata istituzionalizzata negli anni Novanta proprio pereffetto delle pratiche sempre più affinate e diffuse dall'Unione Europea. Ilcaso italiano, in questo quadro, risulta particolarmente rappresentativo. Qui,infatti, la valutazione trova applicazione in istituzioni stabili e ufficiali, apartire dagli anni Novanta-Duemila, in risposta a pressioni europee edinterne (mondo accademico, istituti di ricerca, parte dell'associazionismo,livelli di governo inferiori) sempre più forti. Questo processo, del resto, hadeterminato un certo disordine nel complesso delle pratiche di valutazione,per esempio si è diffusa prima la pratica della valutazione ex ante (VIA9 eVAS10 ne sono esempi) rispetto alla ex post e soprattutto si è sviluppataprima la pratica al livello gestionale e successivamente al livello di governo.

1.2.2 Ruolo e sviluppo della valutazione nell'Unione Europea

La valutazione, nell'ambito delle politiche comunitarie, è statadefinitivamente introdotta con il pacchetto Delors II, che copre il periodo diprogrammazione 1994-1999. È proprio in questo momento che il ConsiglioEuropeo di Edimburgo ha deciso di raddoppiare il peso dei fondi strutturalipassando allo 0,46% del PIL comunitario. Successivamente, nel quadro diAgenda 2000 e preparando l'allargamento dell'Unione Europea, si èverificato un rafforzamento dei meccanismi di valutazione, sviluppato dipari passo con l'introduzione di un certo rigore nella gestione delle finanzepubbliche europee. Un rigore che si è manifestato, per esempio,nell'introduzione della riserva di premialità, ovvero nella concessione di unaparte dei fondi (il 4%) legata ai criteri di performance.

Possiamo dire, quindi, che il consolidamento delle pratiche divalutazione, in Europa, è strettamente legato al carattere regionale conferitoalle politiche di sviluppo economico. È in particolare la programmazionedelle politiche di coesione attivate attraverso i Fondi Strutturali che segnanoi vari passaggi evolutivi finora compiuti nell'ambito della valutazione,secondo lo schema illustrato di seguito (fig.2).

9 Valutazione di Impatto Ambientale.10 Valutazione Ambientale Strategica.

12

Lo Stato membro è il principale responsabile della valutazione ex ante. L'obiettivo della valutazione ex ante è definito e i risultati vengono incorporati nei programmi. Viene introdotto il principio di proporzionalità11: la valutazione ex ante non è obbligatoria nel Quadro Strategico Nazionaledi Riferimento mentre, per i programmi regionali che hanno per obiettivo la competitività e l'occupazione, gli Stati membri possono decidere se valutare iprogrammi insieme.

2007 - 2013

Figura 2L'evoluzione della valutazione dei Fondi Strutturali11

VALUTAZIONE EX ANTE

VALUTAZIONE DI MEDIO TERMINE

11 Testo in traduzione da “ EVALSED, 2007-2013, The Guide”11 Il principio di proporzionalità regola l'esercizio delle competenze esercitate dall'Unione

europea. Esso mira a limitare e inquadrare l'azione delle istituzioni dell'Unione. In virtù ditale regola l'azione delle istituzioni deve limitarsi a quanto è necessario per raggiungere gliobiettivi fissati dai trattati. In altre parole, l'intensità dell'azione dev'essere in rapporto conla finalità perseguita. Ciò significa che laddove l'Unione dispone di diversi modid'intervento essa deve selezionare, a parità di efficacia, quello che lascia la maggiore libertàagli Stati membri e alle persone. Il principio di proporzionalità è chiaramente iscritto neldiritto primario all'articolo 5, comma 3 del trattato che istituisce la Comunità europea(TCE). Un protocollo sull'applicazione dei principi di sussidiarietà e di proporzionalità,allegato al TCE dal trattato di Amsterdam, specifica i criteri di applicazione di questi dueprincipi (http://europa.eu/scadplus/glossary/proportionality_it.htm)

13

La valutazione ex ante deve essere condotta in partnership dalla Commissione e dallo Stato membro. Deve includere la valutazione di impatto ambientale. La Commissione valuta il piano tenendo conto della valutazione ex ante.

1994 - 1999

Lo Stato membro è il principale responsabile della valutazione ex ante. L'obiettivo della valutazione ex ante è definito: particolare attenzione deve essere riservata all'impatto ambientale, al mercato del lavoro ealle pari opportunità. La valutazione ex ante è incorporata nel piano.

2000 - 2006

Non c'è una richiesta esplicita relativa alla necessità di raccogliere informazioni ecomunicarle. Non ci sono disposizioni che definiscono il ruolo del Monitoring Commettee.

1994 - 1999

VALUTAZIONE EX POST

14

Lo Stato membro è responsabile della valutazione di medio termine in partnership con la Commissione, che ne valuta la rilevanza.L'obiettivo di medio termine è definito. La valutazione è organizzata dall'autoritàdi gestione del programma e condotta da un valutatore indipendente, deve esserecompiuta entro il 31 dicembre 2003. Per facilitare la valutazione l'autorità di gestione deve creare un sistema di raccolta dei dati finanziari e statistici necessariper la valutazione di medio termine ed ex post. La Commissione di monitoraggioesamina i risultati di medio termine e può proporre cambiamenti nel programma.Un aggiornamento della valutazione di medio termine è completato entro la fine del 2005.

2000 - 2006

Lo Stato membro è responsabile della valutazione in itinere, in collaborazione conla Commissione. Gli Stati membri sono incoraggiati a redigere piani guida per la valutazione, poiché il focus si sposta da un approccio di conformità ad unapproccio basato sui bisogni. Gli Stati membri dovrebbero valutare sulla base di ciò che hanno bisogno di conoscere. La valutazione è obbligatoria quando c'è unoscollamento significativo con gli obiettivi originariamente programmati.

2007 - 2013

La valutazione ex post deve essere praticata in partnership tra la Commissione elo Stato membro, valutando l'impatto delle misure applicate in termini di obiettividesiderati.

1994 - 1999

La Commissione è la principale responsabile della valutazione ex post in partnership con lo Stato membro. L'obiettivo della valutazione ex post èdefinito; la valutazione è condotta da un valutatore indipendente entro tre anni dalla fine del periodo di programmazione. Prima del 31 marzo 2004, il 4% le risorse destinate a ciascuno Stato membro sono trattenute e saranno allocate suriserva della performance, giudicata dalla Commissione sulla base delle proposte dello Stato membro (riserva di premialità). La performance è indicata sulla base di indicatori di efficienza e di implementazione manageriale e finanziaria definiti dallo Stato membro, previa consultazione della Commissione.

2000 - 2006

Nessun cambiamento è stato apportato rispetto al precedente periodo di programmazione. La “riserva di performance” è opzionale per gli Stati membri.

2007 - 2013

È importante sottolineare che l'evoluzione sopra descritta si svolge nelquadro delle politiche di sostegno allo sviluppo regionale, ovvero in unregime di sostegno che si fonda su alcuni principi da cui, in sede divalutazione non si può prescindere (Mairate, in Jacob et al., 2007):

✗ la programmazione pluriennale è scandita secondo tempi e conuna ciclicità che differiscono da quelli nazionali ed è volta a darestabilità e coerenza strategica all'azione di sostegno.

In particolare, le politiche comunitarie hanno un ciclo di vita limitatoa 5 o 7 anni. La valutazione può, quindi, apportare un contributosignificativo a questo ciclo di interventi, in termini di accumulazionedi conoscenze, sia attraverso le lezioni tratte dall'esperienza, sia dalleidee e dalle proposte che possono conseguire. C'è dunque unprocesso di apprendimento che può rivelarsi utile al momento dirinnovare le politiche (cfr. par 1.1);

✗ l'addizionalità, per cui i finanziamenti erogati dall'Unione Europea noncoprono da soli il totale delle risorse previste dai programmi, ma vi deveessere una compartecipazione al livello nazionale. Le risorse europee, inaltre parole, devono sommarsi e non sostituirsi a quelle nazionali.

Questo principio, insieme a quello della sussidiarietà12, pone ivalutatori di fronte ad un problema di non facile soluzione, ovvero losforzo di identificazione del valore aggiunto comunitario. Si tratta, inaltre parole, di comprendere quale sia l'apporto aggiuntivo chel'intervento comunitario fornisce rispetto a quello che potrebbeessere condotto da altri attori di livello nazionale, regionale o locale;

✗ il partenariato, per cui i programmi sono il frutto delcoinvolgimento di vari attori istituzionali, organizzazioni nongovernative, associazioni e rappresentanti della società civile.

Il carattere decentrato (legato anche al principio di sussidiarietàsopra citato) della gestione dei programmi comunitari ovviamenterende la valutazione ancor più necessaria. Per quanto l'Europa sia ilcentro decisionale, infatti, l'esecuzione e la messa in opera deiprogrammi sono demandati al livello regionale o locale e talvoltadelegati a degli organismi esterni al quadro dell'amministrazionepubblica. La valutazione ha, quindi, innanzitutto un ruolo moltoimportante nel ridurre il gap che esiste in termini di informazione trai livelli che operano sul territorio e quelli che decidono.

12 Il principio di sussidiarietà è definito dall'articolo 5 del trattato che istituisce la Comunitàeuropea. Esso mira a garantire che le decisioni siano adottate il più vicino possibile alcittadino, verificando che l'azione da intraprendere a livello comunitario sia giustificatarispetto alle possibilità offerte dall'azione a livello nazionale, regionale o locale.Concretamente ciò significa che nei settori che non sono di sua esclusiva competenzal'Unione interviene soltanto quando la sua azione è considerata più efficace di quellaintrapresa a livello nazionale, regionale o locale. Il principio di sussidiarietà è strettamenteconnesso ai principi di proporzionalità e di necessità, secondo cui l'azione dell'Unione nonpuò andare al di là di quanto necessario per il raggiungimento degli obiettivi del trattato(http://europa.eu/scadplus/glossary/subsidiarity_it.htm)

15

L'Europa, del resto, non è venuta meno al compito di gestire lacomplessità di programmi che implicano una moltitudine di attori a diversilivelli di responsabilità e di obiettivi complementari e interdipendenti. Inparticolare, la Commissione Europea ha assunto un ruolo determinante nellaprogressiva diffusione di una cultura della valutazione legata alla gestionedei programmi, dotandosi di standard di valutazione (2002), sviluppandometodi e tecniche condivise e diffuse attraverso la diffusione di documentispecifici (la collezione MEANS ne è esempio), fornendo assistenzapermanente agli stati membri attraverso la produzione di strumenti disupporto metodologico e, infine, costruendo una rete di valutazione (1992)che consiste in una piattaforma multilaterale di cooperazione e di scambio diesperienze.

1.3 La valutazione e le sue funzioni

Come accennato in apertura, la valutazione, nell'ambito del policy-programme cycle, assume funzioni e caratteristiche diverse. Nei vari stadidella programmazione, infatti, cambiano le esigenze, le funzionalità econseguentemente le tecniche che contraddistinguono le pratiche valutative.Di seguito, si approfondiscono brevemente le modalità e le particolarità diciascuno stadio della valutazione: ex ante, in itinere, ex post.

1.3.1 La valutazione ex ante

La valutazione ex ante contiene in sé l'ambizione di compiere unaprevisione su quanto accadrà in conseguenza dell'implementazione di unapolitica pubblica. Lo stadio in cui si applica è quindi quello all'inizio delpolicy-programme cycle: si valuta prima che il programma venga adottato.In qualche modo, quindi, si osservano gli effetti di un intervento ancorprima che questo venga attuato. La funzione della valutazione ex anteappare chiara: mira ad assicurare i policy maker sulla rilevanza e la coerenzadel programma che intendono adottare e sugli effetti che potrebbe generare.Predispone, inoltre, elementi di fondatezza per il monitoraggio e levalutazioni successive, assicurando che ci siano obiettivi espliciti e, dovepossibile, quantificabili. Aiuta a specificare i criteri di selezione per la sceltadei progetti e, infine, favorisce la trasparenza delle decisioni, permettendouna chiara spiegazione delle scelte fatte e dei loro effetti attesi.

Secondo le linee guida della Commissione Europea:

Le valutazioni ex ante si attuano nel momento in cui le autoritàpubbliche sono coinvolte nella discussione e nella negoziazionesui programmi futuri. In questa fase si è soggetti a fortipressioni: l'incalzare delle scadenze, la scarsa formalizzazionedei programmi che devono essere valutati, l'incorrere incambiamenti e rettifiche in corso d'opera, richieste diriservatezza ecc... Il team di valutazione quindi deve essere ingrado di rispondere in modo rapido e flessibile al cambiamentoe di applicare tecniche di analisi dei bisogni e degli effetti

16

socioeconomici allo stesso tempo (EVALSED, 2007 – THEGUIDE).

In modo più analitico possiamo distinguere tra due diverse funzioniattribuibili alla valutazione ex ante: quella di staffing e quella di auditing.Nel primo caso la raccolta e l'elaborazione razionale di informazioni èmirata alla costruzione di un giudizio che mira a ridurre l'incertezza deidecisori e talvolta, in funzione di accrescimento dell'accountability, quelladella collettività. Esempio di questo tipo di valutazione è la AIR, Analisid'Impatto della Regolazione. Questo strumento è utilizzano in vari Paesi delmondo a supporto dei parlamentari che, prima di votare una legge, possonodocumentarsi sugli effetti attesi da quel tipo di regolazione (Lippi, 2007).

La funzione di auditing, invece, è volta a rassicurare i decisori pubblici ele loro collettività di riferimento, relativamente agli effetti di un intervento.Questo si rende particolarmente utile e necessario nel caso di sceltecontroverse o per cui si temono effetti inattesi rilevanti. Esempi di questotipo di valutazione sono previsti per legge come le già citate VIA(valutazione di impatto ambientale) e VAS (Valutazione ambientalestrategica).

1.3.2 La valutazione in itinere

Possiamo definire la valutazione in itinere come un'analisi di processo,poiché analizza i risultati di medio corso, interrogandosi sulle dinamiche cheli hanno generati. In altre parole, con l'analisi di medio termine si mira adanalizzare il percorso e i meccanismi che si frappongono tra la decisione e ilrisultato. La seconda fase del policy-programme cycle, che generalmentetende a sfuggire al controllo dei decisori pubblici, viene così sottoposta adun processo di ricostruzione cognitiva che permette, quando questo si rivelanecessario, di correggere o rimodulare i programmi in fase operativa.

Secondo quanto espresso nell'ambito delle linee guida della CommissioneEuropea:

Dipendono dalle conclusioni della valutazione di mediotermine gli aggiustamenti che possono essere apportati in corsod'opera. In questa fase, inoltre, si valutano la gestionefinanziaria, la qualità del monitoraggio e la suaimplementazione. La valutazione in itinere, peraltro, mostracome, e se, le intenzioni originarie vengono perseguite econtrolla se si sono realizzati cambiamenti di fatto rispetto agliobiettivi iniziali. Aiuta a preparare aggiustamenti eriprogrammazioni e li sostiene in modo trasparente.

La valutazione in itinere dipende fortemente dalleinformazioni tratte dal sistema di monitoraggio, ma anche dallavalutazione ex ante e dalle informazioni sul contesto e sulla suaevoluzione. Generalmente consiste in un breve ed esaustivoesercizio, focalizzato principalmente sui risultati del

17

programma, senza addentrarsi in analisi di impatto che nonhanno ancora avuto il tempo di emergere. Inoltre è possibile eauspicabile riferirsi a valutazioni in profondità o tematicherelative ai programmi precedentemente attuati, quando talianalisi esistono. La valutazione di medio termine ha una natura“formativa”, in quanto produce feedback diretti nel programmamigliorandolo (EVALSED, 2007 – THE GUIDE).

Potremmo quindi identificare la valutazione in itinere come l'analisi deiprocessi di attuazione, condotta al fine di mantenere il controllo sulprogramma anche nella fase in cui l'implementazione degli interventi èavviata, così da permettere ai policy maker di disporre operazioni correttivein corso di attuazione. Le dinamiche che si sono innescate nella fase diimplementazione del programma sono ricostruibili secondo tre metodi dianalisi (Lippi, 2007): quella cronologica, ovvero attraverso la ricostruzionediacronica degli eventi, quella degli attori e delle poste in gioco, che mira aricostruire il sistema delle relazioni e i rapporti di potere attraversodiagrammi e quella delle interazioni e dei giochi, che ricostruisce i ruoli e imeccanismi di interazione.

Non dobbiamo dimenticare, infine, che durante la fase diimplementazione degli interventi si pratica l'attività di monitoraggio. Nonsi tratta di un'attività di valutazione in senso stretto, ma della raccoltasistematica e ciclica di informazioni che saranno strumentali allavalutazione vera e propria. Con il monitoraggio, infatti, si registrano e siosservano gli output mentre questi vengono generati, facendo riferimento asistemi di indicatori precedentemente definiti.

Possiamo distinguere tra due tipi di monitoraggio:

✗ quello confermativo per cui gli indicatori di performance hanno loscopo di tenere sotto controllo più linee di attuazione dellamedesima politica, riscontrando periodicamente gli andamentisecondo alcuni criteri, quali l'impiego di risorse finanziarie eorganizzative, la coerenza tra le azioni realizzate e gli obiettivi,l'attuabilità del progetto a determinate condizioni ecc...

✗ quello esplorativo, volto a rilevare una serie di dati sull'oggetto diintervento al fine di comprendere, man mano che il programmaviene attuato, se si stanno raggiungendo gli obiettivi prefissati.

1.3.3 La valutazione ex post

La valutazione che stimola riflessione e verifica per eccellenza è quellaex post. A spiegarlo in modo chiaro e sintetico è, ancora una volta, la Guidadella valutazione europea:

La valutazione ex post ricapitola e giudica l'interoprogramma, in modo particolare relativamente ai suoi impatti.Gli obiettivi sono quelli di rendere conto dell'uso delle risorse, diriferire dell'efficacia e l'efficienza degli interventi e comprendere

18

fino a che punto gli effetti attesi siano stati raggiunti. L'analisiex post si concentra sui fattori di successo e insuccesso, sullasostenibilità dei risultati e sull'impatto complessivo delprogramma. Si tenta, quindi, di trarre conclusioni che possanoessere generalizzate e applicate ad altri programmi o altreregioni.

Idealmente, i risultati di questa valutazione dovrebbero essereutilizzabili in fase di programmazione degli interventi successiviovvero, al più tardi, un anno prima della conclusione delprogramma. Tuttavia, per riuscire a rilevare gli impatti prodotti,la valutazione deve essere effettuata almeno a due o tre annidalla conclusione del programma. Intanto, spesso si richiede una

revisione provvisoria dei programmi da poco conclusi, così dalegare la valutazione ex ante con il ciclo di programmazionesuccessivo.

Se applicata in modo sistematico, l'analisi di impatto è sempreun esercizio di larga scala. La valutazione ex post, quindi, tendea includere ricerche sul campo di lungo periodo, con tempi chesi aggirano tra i 12 e i 18 mesi (EVALSED, 2007 – THEGUIDE).

Quello praticato e diffuso nell'ambito dell'Unione Europea, in particolareper quanto riguarda le politiche di coesione e sviluppo finanziate dai FondiStrutturali, è un uso della valutazione in funzione di verifica (audit). Ancheper questa fase, però, non mancano altre funzioni valutative, a partire daquella tradizionale di staffing, ovvero quella di supporto specialistico allescelte dei decisori. Non si devono dimenticare, inoltre, la funzione disorveglianza (oversight) praticata in molti paesi in qualità di controllo dellalegiferazione13 e il piloting, per cui i programmi vengono sottoposti a unavera e propria fase sperimentale.

13 Per quanto sia essenzialmente rimasta lettera morta, questo tipo di valutazione è statoistituito in Italia, parallelamente alla già citata AIR (legge 50/1999), con la legge 246/2005e prende il nome di VIR (Valutazione di Impatto della Regolazione).

19

2. “Does it work?”Analisi controfattuale delle politiche pubbliche

Nell'ambito della valutazione ex post, la domanda di valutazione piùimmediata e spontanea che ci si possa porre è: l'intervento ha funzionato? Irisultati auspicati sono stati raggiunti?

Si tratta, per la verità, di un interrogativo particolarmente caro allatradizione anglosassone e di alcuni Paesi del Nord Europa, che solo negliultimi anni si sta diffondendo come pratica di valutazione nell'Europacontinentale e mediterranea. Peraltro, per quanto il quesito possa apparirescontato, associarlo a risposte fondate lo è molto meno. Rispondere a questotipo di domanda, infatti, presuppone l'identificazione di un nesso di causalitàtra la realizzazione dell'intervento e un certo cambiamento, osservabile aseguito dell'implementazione di tale azione. Per far questo è necessarioisolare l'oggetto di studio da condizioni esterne che possono incidere sulrisultato finale, evitando di attribuire all'azione pubblica effetti (positivi onegativi) indotti da altri fattori.

In altre parole, il cambiamento osservato una volta terminatal'implementazione del programma (CL = cambiamento lordo) risulteràdall'azione diretta del programma (quella che determina l'effetto netto che ciinteressa individuare, EN) e dalla dinamica spontanea generata da fattoriesogeni al programma, ovvero il controfattuale (C).

(1)

L'individuazione di un nesso di causalità tra l'intervento in esame e undeterminato effetto atteso, quindi, non può prescindere dal preliminareisolamento delle variabili studiate, rispetto a fattori terzi che influisconosull'oggetto di studio.

Poiché non è possibile individuare e controllare tutti gli elementi cheincidono sul cambiamento finale, la via per sgombrare il campo di studio dafattori di causalità estranei all'intervento è quella di “misurare” l'effetto netto(EN) del programma, ovvero l'effetto direttamente dipendente dall'azioneimplementata. Come descritto dall'espressione (1.1), l'effetto netto altro nonè che la differenza tra il cambiamento lordo, ovvero il valore osservato nellavariabile risultato dopo l'attuazione dell'intervento, e lo stesso valoremisurato in assenza di intervento, in altre parole il controfattuale (C).

20

CAUSE ENDOGENE(programma) CAMBIAMENTO

(obiettivi/risultati)

) CAUSE ESOGENE

(altre cause)

CL = EN

+ C

EFFETTO DEL PROGRAMMA CONTROFATTUALE

(1.1)

Definiamo, infatti, controfattuale la situazione che si sarebbe verificata inassenza di intervento.

A questo punto, problema, non di poco conto, è quello di misurare ilcambiamento lordo e il controfattuale.

Identificare il primo valore non è operazione scontata. Sarà, infatti,necessario chiarire quali fossero gli obiettivi dell'azione pubblica, sulla basedi questo individuare degli indicatori che ne rappresentino una misura,isolare un certo contesto e il gruppo di soggetti su cui misurare gli effetti(gruppo sperimentale, Gs). La differenza tra le misure effettuate al tempoT0, ovvero prima dell'attuazione dell'intervento, e al tempo T1, ovvero aintervento concluso, darà una stima del cambiamento lordo verificatosi.

Ancora più ardua risulterà l'intenzione di giungere a una definizione dellasituazione controfattuale. Per definizione, infatti, si tratta di un valoreipotetico e non misurabile (Holland, 1986), per cui l'unica via peridentificarlo è procedere nel definire una sua approssimazione, costruendoun gruppo di controllo (Gc), costituito da soggetti che non abbianobeneficiato dell'intervento.

L'effetto netto, quindi sarà, in prima istanza, così approssimabile:

(2)

Per facilità di esposizione, ci riferiamo alla figura 3 che riassume iprincipali metodi di valutazione ex post, distinguendo, tra l'altro, metodisperimentali e quasi-sperimentali (Campbell, 1966).

Figura 3. Valutazione ex post degli effetti di un intervento

Analisi controfattuale

Esperimento naturale

EN = (Pt0-x – Pt1+x) per x = 1, 2...

P =popolazione

L'intera popolazione è soggettaall'intervento. Quindi è necessariodisporre di una serie storica che,utilizzando alcuni metodi statistici,ne operi una proiezione,identificabile come situazionecontrofattuale. Il confronto tra lemisurazioni effettive successiveall'intervento e i corrispettivi valorisuddetti costituisce la stimadell'effetto netto.

Metodo sperimentale

EN = (Gst1 – Gct1);

(con Gs e Gc assimilabili perestrazione casuale)

Misurazione di valori indice delsuccesso dell'intervento per gruppisperimentali e di controllo compostiper estrazione casuale.

21

EN = CL - C

EN = (Gst0-Gs

t1) – (Gc

t0-Gc

t1)

CAMBIAMENTO LORDO CONTROFATTUALE

Metodi quasi sperimentali

EN = (Gst0 - Gst1) – (Gct0 – Gct1);

OPPURE

EN = (Gst1 – Gct1)

(con Gs e Gc assimilabili percostruzione)

Misurazione, pre e post intervento,di valori indice del successodell'intervento per gruppisperimentali e di controllo. Inalternativa al doppio confronto pre-post (differenza nelle differenze), sipossono utilizzare tecniche dicostruzione del gruppo di controlloe sperimentale (matching statistico,confronto attorno al punto didiscontinuità) affinché questiabbiano caratteristiche simili esiano, quindi, comparativamenteassimilabili.

Metodi che rinunciano alla costruzione di gruppi di controllo

Metodi non sperimentali

CL = (Gst0 – Gstx) per x = 1, 2...

e

CL = (∑ Gstx) per x = 1, 2...

Misurazione del valoredell'indicatore prima dellarealizzazione dell'intervento e dopola sua implementazioneripetutamente nel corso del tempo.

Misurazione del valoredell'indicatore soltanto dopol'implementazione dell'interventoad intervalli ripetuti.

Per descrivere i metodi indicati in figura 3 come non sperimentali14 cilimitiamo a dire che questi rinunciano a priori alla costruzione di un gruppodi controllo e, quindi, alla definizione di una plausibile approssimazionedella situazione controfattuale. Questo, a scapito della plausibilità delrisultato, avviene ogni volta che non sia possibile (per scarsa disponibilità didati) o sia troppo costoso formare un gruppo di controllo. In questi casi lacomponente distorsiva viene mitigata reiterando le misurazioni nel tempo.

Ripercorrendo la tabella dall'alto, invece, troviamo il cosiddettoesperimento naturale, praticabile quando l'intervento è rivolto all'interapopolazione (non esistono quindi gruppo sperimentale e gruppo dicontrollo), e la situazione controfattuale è rappresentata dalla stima delladinamica spontanea (cosa sarebbe avvenuto in assenza di intervento),individuabile effettuando la proiezione futura di una serie storica relativa amisurazioni della variabile risultato e confrontandola con le misurazionidella variabile risultato in tempi successivi all'implementazione dellapolitica pubblica studiata.

Nel secondo caso (metodo sperimentale), invece, si presuppone che ilgruppo sperimentale e il gruppo di controllo siano mediamente equivalentiperché selezionati in modo casuale. L'assegnazione casuale, infatti,garantisce che l'unica differenza significativa tra i due gruppi sia quella diaver o non aver beneficiato del sostegno pubblico conferendo un certorigore all'operazione di definizione del controfattuale.

14 La distinzione tra metodi quasi-sperimentali e non sperimentali presente nella figura 3 èfunzionale ad operare una distinzione tra i due gruppi, ma in gran parte della letteratura sultema i due termini sono utilizzati indistintamente.

22

Il metodo sperimentale, però, spesso non è applicabile, in particolareperché, per ragioni di tipo etico, politico o giuridico, non è possibileescludere una parte della popolazione dalla possibilità di usufruiredell'intervento o decidere in modo random chi siano i beneficiari.

Non a caso le situazioni in cui è possibile ricorrere al metodosperimentale sono ben rare purché non riguardino la realizzazione diprogetti pilota, ovvero (come accennato precedentemente, par. 1.3.3) deiveri e propri esperimenti (social experiments) praticati su scala ridotta,simulando – per così dire - quanto per le scienze fisiche e naturali avviene inlaboratorio. Non si deve dimenticare, però, che questo approccio riferendosialla sfera sociale pone forti limiti alla ricostruzione di condizioni ceterisparibus. Questo genere di esperimento, infatti, è fortemente limitato daicondizionamenti che i soggetti (individuali e collettivi) subiscono a causadella consapevolezza dell'osservazione cui sono sottoposti. I comportamenti,in altre parole, possono non essere spontanei. La stessa implementazionedell'intervento, del resto, può risultare diversa se effettuata su scala ridotta:basti pensare all'interazione, tendenzialmente maggiore, tra erogatore,valutatore e beneficiario.

Per questi motivi e, in particolare, perché in linea di massima la selezionedei beneficiari (e non), per ovvi motivi, sfugge completamente al controllodei valutatori, solitamente, l'identificazione dell'effetto dell'interventorichiede di seguire metodi con cui sia possibile riuscire a ridurre, da un lato,la distorsione che deriva dai processi di selezione (i beneficiari hannodeterminate caratteristiche) e dall'altro la distorsione determinata da fattoriesterni all'intervento che incidono, direttamente o indirettamente, su quantodeve essere verificato. Si ricorre così al metodo di ricerca quasi–sperimentale.

Attraverso i metodi qui indicati come quasi-sperimentali, invece, èpossibile condurre un'analisi di tipo controfattuale e quindi stabilire, con uncerto grado di ragionevolezza, un nesso di causa-effetto tra l'azione pubblicae il suo risultato. Questa situazione si verifica quando il gruppo sperimentalee il gruppo di controllo vengono costruiti in modo tale che sianocomparativamente assimilabili. I due gruppi, insomma, pur non essendoformati per estrazione casuale potranno essere considerati come mediamenteequivalenti e, quindi, simili per tutte le caratteristiche osservabili chepossono influire sull'esito del programma (assumendo che le variabili nonosservabili non generino complessivamente effetti sulla variabile risultato).

Costruire gruppi con queste caratteristiche è operazione complessa,soprattutto a causa della disponibilità e della reperibilità dei dati non sempreampie. Per compiere questa operazione si possono usare varie tecniche,quali il confronto attorno al punto di discontinuità, la tecnica delladifferenza nelle differenze, il matching e la regressione statistica.

2.1 Stimare la situazione controfattuale: metodi e e tecniche

Se la principale sfida posta dall'approccio controfattuale è quella didistinguere la dinamica spontanea dagli effetti dell'azione pubblica che sivogliono valutare, una prima tecnica praticabile è quella che prende il nomedi differenza nelle differenze, peraltro già indicata con l'espressione 2:

23

EN = (Gst0 - Gst1) – (Gct0 – Gct1)

Come indicato nella figura 3, si tratta della misurazione, pre e postintervento di valori indice del successo dell'azione pubblica (d'ora in avantiindividuazione del valore della variabile risultato), per gruppi sperimentali edi controllo.

Il metodo si basa sull'assunto che le differenze strutturali tra il grupposperimentale e il gruppo di controllo siano del tutto comprese nelledifferenze osservabili al tempo t0, (si controlla la distorsione da selezione)senza che questo determini una diversità nel trend di mutamento seguitosuccessivamente. Implicitamente, infatti, si sottintende che la situazionecontrofattuale sia quella determinata dall'applicazione, al grupposperimentale, del cambiamento osservato nel gruppo di controllo; vale adire: in assenza di intervento la dinamica di cambiamento che si sarebbeverificata all'interno del gruppo sperimentale sarebbe quella effettivamenteriscontrata nel gruppo di controllo. Questo assunto può generare unadistorsione sul risultato finale (distorsione da dinamica spontanea), poiché lestesse condizioni di partenza e altre caratteristiche non osservabili, o nonosservate, dei due gruppi possono essere motivo di differenti trend disviluppo della situazione osservata.

Per fare un semplice esempio: poniamo che si voglia intervenire perfavorire l'internazionalizzazione di imprese che, a fronte di un'elevataqualità di prodotto, mostrino una bassa propensione ad agire in campointernazionale. Ammettiamo che la variabile risultato su cui si voglia agiresia il valore annuo delle esportazioni e che l'intervento sia circoscritto aduno specifico territorio. Le imprese saranno soggette ad una fase diautoselezione (solo alcune decideranno di partecipare al progetto) e ad unafase di selezione (solo quelle con determinate caratteristiche sarannoeffettivamente finanziate). Questi processi selettivi, ovviamente, non sononeutri anzi, è molto probabile che comprendano alcune variabili chepossono influire in modo significativo sulla probabilità di futurainternazionalizzazione dell'impresa, genereranno quindi distorsione daselezione. A questo rischio di errore se aggiunge un altro: quello didistorsione da dinamica spontanea. Si impone, in altre parole, la necessità didistinguere l'effetto causale del trattamento dalla naturale evoluzione delfenomeno (alcune o tutte le imprese avrebbero accresciuto l'ammontaredelle proprie esportazioni pure in assenza di intervento e questo, a causa diuna serie di fattori – tra cui anche le caratteristiche di partenza dei duegruppi - non sempre controllabili, potrebbe avvenire in misure diverseall'interno del gruppo di controllo e del gruppo sperimentale).

Un possibile correttivo può essere apportato osservando i trend dicambiamento degli anni precedenti a t0 (se la differenza tra i trend degli anniprecedenti è maggiore o minore rispetto al dato stimato per la dinamica chesi è verificata tra t0 e t1 questo valore può essere utilizzato a correzione delrisultato della semplice differenza nelle differenze relativa a t0 e t1).Ovviamente questo non è sempre possibile poiché i valori della variabilerisultato per gli anni precedenti a t0 non sono sempre disponibili.

Per lungo tempo, del resto, la via più percorsa è stata diversa: costruiremodelli matematici in cui inserire quante più variabili fosse possibile.Modelli che consistono in sistemi di equazioni, di cui si specificano la forma

24

funzionale e le restrizioni necessarie per tener conto delle componenti nonosservabili. Si cerca, in altre parole, di stimare tutte le cause dell'effettototale sulla variabile risultato per stimare l'effetto marginale dell'interventosulla variabile risultato. Queste tecniche di grande validità teorica, appaionodifficilmente efficaci sul piano empirico, imponendo il controllo di moltevariabili. Il più semplice esempio di questo genere di modelli è quello dellaregressione lineare11. Ad ogni modo il meccanismo di fondo rimane questo:per studiare la relazione tra variabili (la variabile trattamento, la variabilerisultato e variabili terze che influiscono sulla variabile risultato) sicostruisce una funzione (imponendo di fatto una forma – in questo casolineare - alla relazione studiata) e si osserva come “si comporta” per certemisurazioni dei suoi componenti.

Il fascino di riuscire a costruire modelli, anche grafici, in grado didescrivere l'interazione tra l'implementazione del programma, altri fattoriesterni al programma ed effetti di questi, però, non deve indurre a facilientusiasmi. L'utilizzo di questo metodo è fortemente condizionato dallapresenza di variabili non osservabili e, come altri metodi, dalla mancanza digrandi quantità di dati.

Si può tornare, allora, all'uso di metodi “più empirici”, come quello delmatching statistico. Questa tecnica può essere utilizzata anche qualora nonsi abbiano informazioni pre-intervento relative alla variabile risultato. Sitratta, infatti, di creare un gruppo di controllo a posteriori, in modo tale chequesto abbia caratteristiche quanto più simili a quelle del grupposperimentale. Presupponendo che la costruzione del gruppo di controllo siaeffettuata correttamente, infatti, potremo (alla stregua di quanto avviene conl'estrazione casuale) considerare i due gruppi come mediamente equivalentie quindi avremo la possibilità di utilizzare il modello di confronto propriodel metodo sperimentale: EN = (Gst1 – Gct1). In questo caso, l'assunto difondo consiste nel considerare non significative tutte le variabili nonosservabili, purché si sia tenuto conto delle osservabili.

Le tecniche per praticare l'abbinamento statistico sono varie e dipendonoda due scelte fondamentali:

✔ la scelta della distanza tra due unità di confronto (ovvero ladefinizione del livello di similarità che deve intercorrere tra unità delgruppo di controllo e del gruppo sperimentale),

✔ il criterio in base al quale effettuare l'abbinamento

Per quanto riguarda il primo punto, la misura della distanza utilizzata più

11 In questo caso il modello utilizzato è lineare: Yi = α + β Ti + λ fattore1 + єi

Con:

Yi rappresenta la variabile risultato misurata, al tempo t1, sull'i-esima unità di studio;Ti rappresenta la variabile trattamento;

єi rappresenta il termine di errore dato da tutte le variabili non osservabili (con media 0);

λ fattore1 rappresenta un elemento terzo che incide sulla variabile risultato;

α e β sono i coefficienti da stimare.

25

frequentemente è quella del cosiddetto propensity score, ovvero laprobabilità che una certa unità sia assegnata al trattamento date lecaratteristiche che presentava in precedenza dell'implementazionedell'azione pubblica. Questa probabilità può essere attribuita attraverso duediversi modelli per dati binari: logit (o logistica), oppure probit12.

La funzione Logit, per esempio, permette di identificare in un valorecompreso tra 1 e 0 che indica la probabilità, date certe caratteristicheesplicative pre-trattamento, di accedere all'erogazione dell'interventopubblico. Quanto più questo valore sarà vicino a 1 tanto maggiore sarà laprobabilità di accedere al trattamento.

Il secondo problema riguarda il criterio di abbinamento tra unità trattate enon trattate. Come mostra la figura 4 i principali criteri di abbinamentosono: l'abbinamento con l'unità più vicina, l'abbinamento nell'ambito di uncerto raggio, quello con stratificazione e attraverso la funzione di Kernel.

Figura 4. Matching statistico: come abbinare le unità di confronto

Abbinamento con l'unità più vicina

CON:

A ciascuna unità trattata vieneabbinata l'unità con propensityscore più vicino. In linea dimassima, ciascuna unità nontrattata può essere assegnata a piùunità trattate. Il gruppo di controllo,quindi può essere numericamentepiù piccolo del grupposperimentale. Motivo di debolezza di questometodo sta nel fatto che l'unità dicontrollo più vicina può risultareanche molto diversa (perché invalore assoluto lontana dalpunteggio dell'unità sperimentale)dall'unità sperimentale che le vieneassegnata.

12 Si tratta di funzioni che raffigurano la probabilità che una variabile dicotomica (nelnostro caso ricevere o non ricevere il trattamento) assuma una delle due modalità, date certecondizioni.

Logit P (T=1) = e Xβ /1+ e Xβ

Probit P (T=1)= 1-e -exp (Xβ)

26

∑ i (yit – y

ic)/ Nt

Yit = valore della variabile risultato per la

i-esima unità trattata.

yic= valore della variabile risultato per

l'unità di controllo abbinata all' i-esima unità trattata.

Nt = numero di unità trattate presenti nel campione

Radius Matching

CON:

Ad ogni unità trattata sono abbinatetutte le unità di controllo conpropensity score compreso entrouna certa distanza (raggio)tendenzialmente molto vicina a 0.È quindi possibile che non tutte leunità sperimentali siano abbinate adalmeno una unità di controllo, cosìcome è possibile che una unitàsperimentale sia abbinata a piùunità di controllo (in questo caso sicalcola la media aritmetica dellevariabili risultato delle unità dicontrollo). Motivo di debolezza di questometodo è la possibile perdita diunità trattate. Si deve notare, inproposito, che esiste un trade off tral'ampiezza del raggio scelto e lanumerosità delle unità confrontate.

Abbinamento con stratificazione

Medie delle differenze nei vari strati,ponderate con il numero di unitàtrattate presenti all'interno dellostrato stesso-

Costruzione degli strati:

CON:

L'abbinamento è applicato sullabase di intervalli, costruiti in modotale che le unità trattate e nontrattate -al loro interno- abbiano lostesso propensity score.Un motivo di debolezza di questometodo è costituito dal fatto che, inalcuni strati, possono noncomparire unità trattate o unità nontrattate e si ha, quindi, nuovamenteuna perdita di informazione.

27

∑ k Δk N

kt / Nt

Δk = ∑

i y

it / N

kt - / ∑

i y

ic / N

kc

Nk

t = numero di unità trattate

presenti nello strato k

Nk

c = numero di unità non trattate

presenti nello strato k

∑ i (yit – y

ic)/ Ntr

Yit = valore della variabile risultato per la

i-esima unità trattata.

yic= valore medio della variabile risultato

per l'unità di controllo abbinata all' i-esima unità trattata.

Ntr= numero di unità trattate che trovano almeno un abbinamento all'interno del raggio prescelto.

Ntr ≤ Nt

Abbinamento con la funzione di Kernel

CON:

A ciascuna unità trattata sonoabbinate tutte le unità non trattateponderate in ragione della distanzadel loro propensity score da quellodell'unità trattata.Non vi è quindi perdita diinformazione.

I pesi wij sono costruiti sulla base

della funzione matematica Kernel,

in modo che risultino inversamente

proporzionali rispetto alla distanza

tra il propensity score di ciascuna

unità sperimentale e di controllo. Il

valore massimo, ovviamente è

raggiunto per propensity score

uguali.

Infine, per gli interventi che presuppongono una selezione pubblica el'assegnazione di agevolazioni attraverso la compilazione di una graduatoria,è possibile procedere utilizzando alcuni metodi fondati sulla discontinuitàdi trattamento. La logica di fondo è di facile intuizione: poiché legraduatorie sono stilate attraverso l'assegnazione di un punteggio, di solito,in parte assegnato sulla base di criteri di merito (la validità del progettopresentato) e in parte in misura della necessità e delle caratteristiche delrichiedente, è possibile supporre che punteggi ravvicinati siano alla base diun buon grado di similarità tra i partecipanti al bando. Una volta accettato- overificato - questo assunto, sarà semplice individuare nel punteggio soglia,determinato dall'agente pubblico sulla base delle risorse disponibili, ladiscriminante che permetterà di distinguere tra trattati (gruppo sperimentale)e non trattati (gruppo di controllo). In definitiva il confronto avverrà tra gliultimi dei beneficiari e i primi degli esclusi, soggetti che mediamentedifferiscono soltanto per l'esposizione al trattamento. Chiaramente questo ètanto più vero se le unità esaminate hanno punteggi compresi entro unraggio limitato rispetto al punteggio soglia. Il confronto finale, del resto,sarà compiuto tra le medie dei due gruppi, medie che sarannostatisticamente più significative se estratte da un numero più alto diosservazioni. Esiste quindi un trade -off tra la necessità di mantenere la fortesimilarità tra il gruppo di controllo e il gruppo sperimentale (confrontando,per esempio i primi 5 esclusi e gli ultimi 5 inclusi tra loro molto simili) e lanecessità di limitare la perdita di informazione (confrontando per esempiogli ultimi 30 inclusi e i primi 30 esclusi). Il fatto di operare su piccolinumeri, peraltro, aumenta fortemente l'arbitrarietà dei risultati.

È la regressione statistica ad offrire un possibile “correttivo”. Piùprecisamente, in questo caso, si tratta di regression discontinuity design,

28

∑i (y

it – ∑

j=1 w

ij Y

jc)/ Nt nc

∑j=1

wij

YjN

kt = media ponderata

della variabile risultato di tutte le unità trattate, da calcolare per ciascuna unità trattata.

modello statistico che permette di mantenere l'impianto logico del confrontoattorno al punto di discontinuità utilizzando tutte le osservazioni disponibili.Il modello consiste in una regressione lineare che includa le relazioni travariabile risultato (Yi), variabile trattamento (Ti), punteggio (φ punteggio) e

un termine di interazione (prodotto) tra il punteggio e la variabiletrattamento (δTi * punteggio):

(3)

La rappresentazione grafica della funzione 3 consisterà in due rette(poiché la variabile trattamento è dicotomica) che metterà in relazione lavariabile risultato dopo il trattamento e il punteggio, per gruppi trattati e nontrattati. La distanza verticale tra le due rappresenterà l'effetto dell'interventoT.

29

Yi = α + β Ti + φ punteggioi + δTi * punteggio

i + єi

riscrivibile come Yi = ( α + β Ti) + (φ + δTi) punteggio

i + єi

pendenza e intercetta variano per T=0 e per T=1

3. La valutazione delle politiche diaiuto alle imprese

Prima di illustrare con qualche esempio il quadro teorico fin qui descritto,stringiamo leggermente il campo, occupandoci di uno specifico settore dipolitiche pubbliche: quello del sostegno delle imprese.

Rispetto a quanto già detto, la valutazione degli interventi a favore delleimprese non presenta particolari specificità ma, come è ovvio, risponde allaspecifica ratio che sottostà a questo genere di interventi.

Innanzitutto, è necessario notare che il fine ultimo delle politiche di aiutoalle imprese è quello di ottenere effetti complessivi sul sistema economico.Per fare alcuni esempi: aumentare la competitività del sistemaimprenditoriale favorendo l'innovazione tecnologica e organizzativa oaumentare l'occupazione.

In secondo luogo, è importante specificare che ci si riferisce sempre ad unambito definito e portatore di esigenze e difficoltà specifiche: le imprese diun determinato territorio, settore o scala dimensionale.

In altre parole, si interviene su una specifica popolazione (una particolarecategoria di imprese, per esempio per settore, dimensioni o localizzazionegeografica) al fine di indurre un cambiamento specifico relativamente allacondizione o a ad alcuni comportamenti specifici, così da ottenere effettipositivi su più ampia scala.

In linea di massima, in qualche modo, si intende correggere alcuneimperfezioni del mercato esistente, andando a rimuovere delle barriere chepenalizzano alcuni soggetti con potenzialità riconosciute, ma non totalmenteespresse. Ne sono esempio le azioni di sostegno rivolte ad imprese dipiccole dimensioni o start up che, sviluppate attorno a progetti validi, conelevate potenzialità di crescita e la possibilità di costituire un veicoloimportante per ottenere ricadute positive sul territorio, siano ostacolate dalladifficoltà di accedere al credito o ad alcuni servizi avanzati.

L'intervento, ovviamente, presuppone l'individuazione di alcuni obiettivi,l'accertamento della loro desiderabilità, l'individuazione degli strumenti piùappropriati a perseguirli e dell'ambito a cui si intende rivolgersi, nonchél'implementazione dell'azione pianificata. La valutazione, nella logicaintegrata del policy-programme cycle - descritto e rappresentato in apertura(par. 1.1) - può dare, a ciascuna delle fasi di questo processo, un contributoprezioso in quanto a riflessione, condivisione e verifica dello stessointervento.

In particolare, a ciascuno dei passaggi rappresentati nella figura 5,corrispondono specifiche domande di valutazione che saranno analizzate neiparagrafi che seguono. Nello specifico, ci si focalizzerà su due particolaridimensioni: quella della verifica della correttezza delle procedure diselezione dei beneficiari e quelle, che più ci interessano, di valutazione deglieffetti diretti delle politiche di sostegno alle imprese, facendo alcuni esempisulle domande di valutazione che possono essere poste e su alcuni strumenti(in parte già presentati) utilizzabili.

30

Figura 5Programmi di sostegno alle imprese: alcuni passaggi

31

Individuazione di problemi e difficoltà,analisi del contesto socioeconomico

Definizione di fini e obiettivi

Definizione degli strumenti(natura dell'intervento,

risorse utilizzate...)

Definizione dei requisiti di ammissibilità

AUTOSELEZIONE da parte delle imprese

potenzialmente beneficiarieSELEZIONE

da parte del decisore pubblico

IMPLEMENTAZIONE

EFFETTI SULLE IMPRESE

EFFETTI SUL SISTEMA ECONOMICO

Realizzazione dei progetti

3.1 Valutare le procedure di implementazione: selezionare eraggiungere le imprese target

È opportuno rilevare che, nella valutazione degli interventi a sostegnodelle imprese, così come in altri campi, vengono frequentemente applicati icriteri descritti precedentemente (par. 1.1.2). Si tratta, peraltro, di criteriparticolarmente diffusi e ormai radicati anche nel senso comune: concettiquali efficienza, efficacia ecc...

Qui, invece, è opportuno soffermarsi su un altro aspetto particolarmenterilevante per la valutazione delle politiche pubbliche in generale (si pensiall'ambito sociale o a quello sanitario, laddove l'argomento può sollevaredilemmi di carattere etico) e assolutamente delicato in quanto ad aiuti per leimprese. Si parla del problema della corretta selezione dei beneficiari e delloro effettivo raggiungimento.

Praticare una cattiva selezione per interventi che dovrebbero avere uncerto impatto economico, infatti, può risultare fortemente distorsivo egenerare effetti indesiderati, incidendo negativamente sugli equilibri dimercato.

È utile, quindi, chiedersi se chi ha ottenuto, o otterrà, un determinatoaiuto pubblico sia effettivamente il tipo di beneficiario che si intendevaraggiungere con quell'intervento e che non ci siano processi di selezione oauto-selezione che si discostino dalle intenzioni originarie.

In primo luogo, a questo fine, può risultare opportuno chiedersi se ilsostegno offerto alle imprese sia effettivamente accessibile per i beneficiaria cui si rivolge. Si deve, quindi, ricostruire e giudicare l'iter informativo eburocratico che l'impresa deve compiere per accedere all'agevolazioneofferta. Questa fase preliminare, infatti, comporta dei costi a carico deibeneficiari, in particolare in termini di tempo. Si tratta allora di stimare icosti di transazione e di informazione che le imprese si trovano a sostenere.Questa fase è importante e delicata perché costi di accesso troppo altipossono essere alla base di una selezione avversa relativa alle impresepartecipanti e perché tempi e sforzi di accesso troppo elevati possonoindebolire l'efficacia dell'intervento.

La via semplice e poco onerosa per stimare questo dato è quello diriferirsi alla documentazione prodotta nella fase di implementazionedell'intervento e calcolare la durata media dell'iter amministrativo compiutodalle imprese. In alternativa, è possibile effettuare un'indagine diretta pressole imprese beneficiarie per verificare se si sia sviluppato un mercato diconsulenza mirato a sostenere l'accesso al contributo o servizio pubblicoofferto. In tal caso, i prezzi di mercato riconducibili all'erogazione deiservizi di consulenza costituiscono una stima diretta dei costi di transazione.

La scarsa accessibilità al finanziamento, ma anche altri fattori, possonodeterminare un basso livello di tiraggio o di partecipazione. Si tratta di dueindicatori, orientati a stimare come l'intervento sia stato accolto dai suoipotenziali beneficiari, e identificabili rispettivamente come il rapporto tra ifondi richiesti e i fondi stanziati e come il rapporto tra le imprese richiedentie le imprese aventi diritto all'azione di sostegno (figura 6).

32

Figura 5Tasso di tiraggio e tasso di partecipazione

Tasso di tiraggio=fondi richiesti/fondi disponibili

ECCESSO DI RISORSE STANZIATE

• Lo svantaggioipotizzato non sussisteveramente

• Condizioni di accessotroppo onerose

• Scarsa efficaciaeffettiva o percepita delfinanziamento

• Cattiva informazione

100%

VALOREOTTIMALE

RAZIONAMENTO DELLE RISORSE

• Criteri di ammissionenon compresicorrettamente dalleimprese (per il tasso dipartecipazione)

• Elevato favore versol'intervento (ma nondice se gli obiettivisono stati raggiunti e sele imprese selezionatesono quelle “giuste”)

Tasso di partecipazione=imprese richiedenti/imprese aventi diritto

Come mostra la figura, valori ottimali dei due indicatori dovrebberoattestarsi attorno al 100%. Mentre man mano che ci sia vicina allo zero sirileva un eccesso di risorse stanziate, riconducibili, attraverso ulteriorianalisi, a fattori di varia natura: lo svantaggio ipotizzato non sussisteveramente, condizioni di accesso all'erogazione dell'intervento troppoonerose, scarsa efficacia effettiva o percepita del finanziamento, cattivainformazione dei potenziali beneficiari.

Al contrario, valori molto superiori alla soglia del 100% lascianoimmaginare che vi sia un ampio favore nei confronti dell'intervento, un datoche vale la pena di approfondire. Non necessariamente, infatti, questosignifica che i fondi siano stati erogati in modo appropriato o che si sianoeffettivamente raggiunti gli obiettivi prefissati. Un tasso di partecipazionemolto elevato, peraltro, può segnalare la mancata comprensione o correttacomunicazione dei criteri di ammissibilità.

Si evidenzia, così, un'ulteriore questione da tenere in considerazione eanche la più importante: la correttezza del processo di targeting. In altreparole, è necessario chiedersi se le imprese beneficiate avesseroeffettivamente i requisiti stabiliti per l'ottenimento del finanziamento o se, alcontrario, sia stato favorito uno specifico sottogruppo o abbiano usufruitodell'intervento imprese per cui questa azione non sarebbe stata strettamentenecessaria. A questo fine è necessario operare un confronto tra campioni diimprese beneficiarie e non beneficiarie.

Ovviamente la verifica del raggiungimento del target dell'interventosecondo i criteri prefissati, non può essere l'unica preoccupazione delvalutatore e dei policy maker committenti. Per esempio: perché progetticorrettamente assegnati possono non essere realizzati in modo adeguato onon essere portati a termine e fondi di finanziamento pubblico possonoessere utilizzati impropriamente. La verifica della corretta messa in opera

33

degli interventi si pratica attraverso l'uso dei documenti prodotti in fase diimplementazione relativi alle procedure amministrative seguite e allacontabilità, ma anche a relazioni illustrative ampiamente variabili dal puntodi vista qualitativo e di completezza delle informazioni riportate.

Si giunge così a quelli che, nell'ambito della valutazione, possono esseredefiniti i quesiti per eccellenza: quali risultati hanno effettivamente prodottogli interventi compiuti? Si tratta di cambiamenti che si sarebbero verificaticomunque? E qual è l'impatto complessivo che l'azione ha avuto sul sistemaeconomico a cui si è riferita?

3.2 Impatto ed effetto netto delle politiche per le imprese:individuare il controfattuale

Torniamo, adesso, a parlare di valutazione ex post e in particolare divalutazione degli effetti. Come spiegato nel capitolo 2 la domanda divalutazione che riguarda questa fase valutativa è: il progetto ha funzionato?

Naturalmente questo interrogativo può essere declinato in domande piùspecifiche sulla base di determinate circostanze ed esigenze.

In generale, comunque, un problema particolarmente “vivo” nell'ambitodella valutazione delle politiche per le imprese riguarda l'effettiva necessitàe insostituibilità dell'intervento pubblico.

La maggior parte delle azioni di sostegno alle imprese, infatti, consistenel finanziamento, generalmente parziale, di un progetto specifico. La primadomanda da porsi, quindi, è relativa all'effettiva utilità pubblica dell'aiutoall'impresa.

I fondi di finanziamento pubblico hanno permesso la realizzazione diprogetti che altrimenti non sarebbero stati realizzabili, oppure hannosemplicemente sostituito risorse private riducendo i costi per l'impresa?

La risposta a questa domanda passa dal concetto di deadweight, ovverodall'individuazione e la quantificazione dei progetti che avrebbero visto laluce anche in assenza di finanziamento.

EN=EL-DEffetto Netto = Effetto Lordo - Deadweight

Progetti finanziati grazie all'aiuto pubblico = Totalità dei progetti finanziati –

Progetti che sarebbero stati realizzati comunque

Come è evidente, il concetto di deadweight è quantomeno analogo aquello di controfattuale. Possiamo dire, infatti, che il termine indica un casospeciale di controfattuale. Il caso in cui alcuni beneficiari abbiano ricevutorisorse pubbliche per modificare un proprio comportamento ma, in realtà, sisiano comportati esattamente come avrebbero fatto in assenza di sussidio(Martini, 2008)

34

Nella pratica, come avveniva per il controfattuale, misurare il deadweightrisulta un'operazione assai complessa. Le vie per individuarne l'entità sonodue: la verifica diretta, ponendo una semplice domanda alle imprese chehanno ricevuto il finanziamento12, oppure il confronto attorno al punto didiscontinuità (cfr par 2.1).

L'individuazione del deadweight attraverso verifica diretta tende, conogni probabilità, a produrre sottostime significative di questo valore. Isoggetti intervistati, infatti, sono in linea di massima portati a giudicarepositivamente il finanziamento che li ha beneficiati e di cui in futuropotrebbero ulteriormente usufruire. La seconda operazione, invece, risultacomplessa in quanto approssimazione del controfattuale secondo le modalitàe con le difficoltà precedentemente descritte (cap.2).

In questo caso la domanda che ci poniamo è:I cambiamenti avvenuti nel gruppo di controllo sono maggiori rispetto aquelli del gruppo sussidiato?

Qualora si disponga di archivi di informazioni longitudinali, ovverorelative a segmenti temporali diversi, è possibile operare un confronto tra leperformance delle imprese finanziate e non finanziate prima e dopol'intervento, seguendo il metodo della differenza nelle differenze che– comeabbiamo visto - opera un confronto pre-post sia tra le imprese del gruppo diosservazione, costituito da imprese che hanno attivato progetti sussidiati, siatra le imprese del gruppo di controllo, costituito da imprese che hannoattivato progetti spontanei.

Il quesito base per la valutazione degli effetti rimane, però, quellocaratteristico dell'analisi controfattuale:

I cambiamenti verificati tra le imprese sussidiate si sarebbero verificatianche in assenza di intervento pubblico?

Le tecniche per praticare questo genere di valutazione esposte nelcapitolo 2 e sintetizzate nelle prime tre righe della tabella in figura 3.Generalmente, perché le condizioni non permettono di operarediversamente, si ricorre ai metodi quasi-sperimentali, in particolare: la giàcitata differenza nelle differenze, oppure al semplice modulo EN = (Gst1 –

Gct1) utilizzando particolari tecniche di composizione del gruppo

sperimentale e del gruppo di controllo quali il matching statistico o ilconfronto attorno al punto di discontinuità.

Un ultimo quesito, per la verità di difficile soluzione, risulta determinanteper valutare l'effettiva utilità delle politiche di sostegno economico: cosadire circa l'impatto che si ottiene su un certo sistema economico, attraversogli interventi di sostegno alle imprese?

Con questa domanda si va a trattare un punto piuttosto controverso dellepolitiche di sostegno alle imprese, mettendo in discussione l'ultimopassaggio illustrato nella figura 5:

12 Ovviamente la domanda in questione suonerebbe più o meno così: avrebbe realizzatoquesto investimento o progetto anche in assenza di finanziamento pubblico?

35

In che modo, gli effetti ottenuti al livello delle imprese si ripercuotonopositivamente sul sistema economico (e sociale) a cui ci si riferisce?

Sul piano teorico, la risposta è di tipo intuitivo: l'attivazione di un certonumero di progetti è leva per la creazione di posti di lavoro, committenzaverso altre imprese non beneficiarie del sussidio, innesco di processiinnovativi che a loro volta determineranno un aumento della disponibilità direddito, ma anche di beni intangibili quali conoscenze e professionalità cheandranno a migliorare la qualità della vita.

Sul piano pratico, l'individuazione degli effetti indiretti degli interventirisulta estremamente difficile. Le variabili in campo (ma anche le lorointerazioni e gli effetti che a loro volta determinano), infatti, sono molte ecomplesse, controllarle è operazione ardua, non dimenticando che possiamoassistere al manifestarsi di effetti secondari negativi. Il più noto e sempliceesempio è quello dell'effetto di spiazzamento, per cui i vantaggi direttamentefruibili da parte delle imprese sussidiate vanno direttamente a discapito diimprese concorrenti non sussidiate, che vedranno diminuire produzione eoccupazione. In linea di massima, la valutazione degli interventi in favoredelle imprese si ferma al gradino di valutazione precedente, verificando eanalizzando gli effetti diretti dell'azione pubblica.

Casi concreti di valutazione di politiche pubbliche in favore delle impresesaranno presentati nei capitoli che seguono.

36

4. Valutazione controfattuale:esperienze a confronto

Illustrato l'impianto teorico su cui si fonda il metodo di analisicontrofattuale, ne osserviamo alcune applicazioni pratiche, illustrandoaltrettante esperienze valutative effettuate in passato. La scelta dei casi miraa coprire situazioni eterogenee da più punti di vista:

✗ l'ambito geografico - si coprono diverse realtà nazionali - dall'Italiaal Cile passando per la Germania - riferendosi conseguentemente acontesti giuridici ed economici diversi tra loro;

✗ la natura degli istituti che hanno condotto e commissionato lapratica valutativa - istituti di ricerca, ministeri o università - e,soprattutto

✗ il genere di politica valutata - dall'erogazione di sovvenzioni a fondoperduto a quella di servizi di consulenza e formazione - anche incorrispondenza di un'evoluzione nel tempo, del modo di pensare gliinterventi di sostegno alle imprese e allo sviluppo territoriale.

Del resto, coerentemente con l'intento di questo lavoro, larappresentazione dei casi prescelti si concentrerà maggiormente sugli aspettimetodologici degli studi valutativi, piuttosto che sui loro risultati e leimplicazioni che ne conseguono. In particolare l'analisi di ciascun caso sisuddividerà su tre sezioni: la domanda di valutazione, la metodologiaseguita, i risultati.

4.1 La legge 488/92 alla prova del controfattuale12

La legge 488/92 è stata, per molti anni, uno dei pilastri dell'interventopubblico in favore delle imprese, rappresentando il principale strumento disostegno agli investimenti, in Italia. Basti pensare che, tra il 1996 e il 2003,sono stati elargiti, nell'ambito della 488, aiuti per circa 17 miliardi di euro, il30% del totale dei finanziamenti concessi alle imprese nello stesso periodo.L'intervento si prefiggeva alcune priorità: quella di ridurre le disparitàeconomiche tra i territori, sostenendo gli investimenti nelle aree in ritardo disviluppo (2/3 dei circa 31.000 progetti approvati riguardava il Sud) e ilmantenimento di una certa attenzione verso il manifatturiero (6 dei 13 bandipubblicati riguardavano proprio questo settore). Peraltro, per la prima volta,si metteva fine alla lunga tradizione dei finanziamenti “a pioggia” e siapriva un nuovo corso del sostegno allo sviluppo economico e territoriale:l'elargizione dei fondi era legata a precisi progetti che, sulla base di criteristabiliti dal legislatore (cfr par. 4.1.1.), sarebbero andati a formaregraduatorie sulla cui base assegnare le risorse.

12 Fonti: Bronzini R., De Blasio G., Qual è l'effetto degli incentivi agli investimenti: unavalutazione della legge 488/92, Roma, Banca d'Italia, 2006;Martini A., Costabella L., Sisti M., Valutare gli effetti delle politiche pubbliche: metodi eapplicazioni al caso italiano, Formez, 2006.Ministero dell’Industria, Commercio e Artigianato (2000), Indagine sulla legge 488/92, acura della Direzione Generale per il Coordinamento degli Incentivi alle Imprese, Roma.

37

La complessità e l'importanza di questa legge, in quanto a metodo e intermini quantitativi, hanno fatto sì che gli studi valutativi praticati in meritoalla sua efficacia siano stati ampi e molteplici.

Di seguito, e dopo una breve descrizione della natura e dei criteridell'intervento, saranno illustrati tre diversi lavori di valutazione della legge.Il primo, pubblicato nel giugno del 2000, porta il nome di Indagine sullalegge 488/92 ed è stato commissionato, all'Istituto Tagliacarne, dall'alloraMinistero dell'Industria, del Commercio e dell'Artigianato. Il secondo,Valutazione della legge 488/92: gli effetti occupazionali sul territorio, èstato pubblicato nel 2003 e condotto dallo stesso Ministero delle AttivitàProduttive (secondo la denominazione che ha assunto successivamente13).Infine, si farà riferimento allo studio pubblicato nel marzo 2006, ad operadel Servizio Studi della Banca d'Italia, Qual è l'effetto degli incentivi agliinvestimenti? Una valutazione della legge 488/92.

4.1.1 Legge 488: metodi e obiettivi

Come già accennato, la 488 prevedeva l'elargizione di contributi a fondoperduto in qualità di cofinanziamento a programmi di investimentopluriennali volti

alla realizzazione di nuove attività produttive ovveroall’incremento della capacità produttiva e dell’occupazione,all’aumento della produttività, al miglioramento delle condizioniecologiche legate ai processi produttivi, all’aggiornamentotecnologico, al rinnovo, alla riorganizzazione, alla diversificazionedella produzione, alla modifica dei cicli produttivi, alla ripresadell’attività, al cambiamento della localizzazione degli impianti diunità produttive esistenti (art. 3).

Potenziali destinatarie erano le imprese di tutti i principali settori diattività: manifatturiero, commerciale, turistico e dei servizi.

Importante il vincolo di collocazione in aree in ritardo di sviluppo, tra cuiil Mezzogiorno, le zone del Centro-Nord a declino industriale o ruralisvantaggiate e le aree depresse ammesse agli aiuti di competenza regionale.

L'iter seguiva un percorso a più tappe. Innanzitutto il Ministerodell'Industria pubblicava i bandi. Le imprese interessate, nel rispetto dellemodalità e dei tempi stabiliti dal bando, presentavano le domande diammissione al finanziamento, corredate da un piano di investimentoarticolato su due-quattro anni e comprensivo della descrizione dell'impresadal punto di vista organizzativo e finanziario, di un'analisi del mercato diriferimento e del dettaglio delle spese da sostenere. La fase istruttoria e laformulazione del giudizio di ammissibilità spettava alle bancheconcessionarie. Da qui, scaturiva la formazione delle graduatorie da partedel Ministero che, eseguita la ripartizione dei fondi, li avrebbe trasferiti allebanche concessionarie. Per ciascun bando sarebbero state compilate duegraduatorie per importi superiori a 26 milioni di euro, una per il CentroNord e l'altra per il Sud, e due (una ordinaria e una speciale) su baseregionale e riservate a importi inferiori alla soglia dei 26 milioni.

13 Attualmente Ministero dello Sviluppo Economico.

38

Rilevante è specificare quali fossero i criteri di selezione stabiliti dalMinistero. Si tratta di cinque parametri volti ad orientare la concessione deisussidi verso i progetti più portati al raggiungimento degli scopi di sviluppoe riequilibrio delle disparità territoriali prefissati dal legislatore. Piùprecisamente: occupazione attesa, capitale proprio immesso, percentuale dicontributo richiesto, parametro ambientale e parametro regionale, secondole modalità riportate nella figura (6) di seguito.

Figura 6OCCUPAZIONE ATTESA. È un indicatore calcolato rapportando alcapitale investito la differenza tra il numero di addetti attesi “a regime”(cioè dopo l’attuazione dell’investimento) e il numero di addetti 12 mesiprima della richiesta di finanziamento. Questo indicatore, quindi,assumerà valori maggiori laddove maggiore sarà l’occupazione che siintende creare per unità di capitale investito: ciò al fine di evitare che icontributi vadano a finanziare interventi capital intensive, quando unodegli obiettivi della politica è l’aumento dell’occupazione.

CAPITALE PROPRIO IMMESSO. Questo indicatore tiene contosolamente dei nuovi mezzi propri investiti nell’impresa, quindi aumentidi capitale sociale e conferimenti in conto capitale versati appositamentein riferimento all’iniziativa. Il valore che l’indicatore assume è dato dalrapporto tra il capitale proprio immesso e l’investimento complessivo.Questo criterio premia le imprese che si assumono una quota maggiore dirischio e che, quindi, implicitamente dichiarano la loro fiducia nellabuona riuscita del progetto.

PERCENTUALE DI CONTRIBUTO RICHIESTO. È il rapporto tral’importo richiesto dall’impresa e l’entità massima dell’agevolazioneconcedibile. Gli importi massimi concedibili sono stabiliti dall’UnioneEuropea e dipendono dalle dimensioni dell’impresa (privilegiando quelleminori) e dall’ubicazione dell’unità produttiva (privilegiando le areemaggiormente svantaggiate). L’indicatore assumerà valori tanto più alti,quanto più bassa sarà l’entità dell’agevolazione richiesta. L’uso di questo criterio intende massimizzare il numero degli investimenti agevolati datol’ammontare di fondi disponibili e scoraggiare l’imprenditore dalrichiedere finanziamenti superiori rispetto a quelli strettamente necessariper attivare l’iniziativa.

PARAMETRO AMBIENTALE. È un parametro che incorpora unconcetto complesso quale “l’attenzione dimostrata dall’impresarichiedente nei confronti delle tematiche ambientali”. Viene ricavatoattraverso le risposte date, in sede di compilazione della richiesta, adomande riguardanti la situazione pre e la situazione post interventorelativamente alla quantità di rifiuti prodotti e ai consumi di acqua eenergia provenienti da fonti rinnovabili.

PARAMETRO REGIONALE. È dato dalla somma dei punteggiprestabiliti dalle Regioni in base a priorità settoriali o territoriali, chetengono conto di tre aspetti: l’ubicazione, il settore di attività e latipologia di investimento.

Fonte: Martini 2006

39

4.1.2. Legge 488:esperienze di valutazione

INDAGINE SULLA LEGGE 488/92

Come già indicato, il primo dei tre studi che esamineremo è statopubblicato nel giugno del 2000, porta il nome di Indagine sulla legge488/92 ed è stato praticato e redatto dal Ministero dell'Industria incollaborazione con l'Istituto Tagliacarne.

Questo studio si articola in due parti, corrispondenti a due diversi intentidi indagine.

Le domande di valutazione

Il primo dei quesiti posti nell'ambito dello studio in questione riguardal'addizionalità degli investimenti agevolati. In altre parole ci si chiede qualesia l'effetto incentivante delle agevolazioni. La domanda da porsi è quindi:

– I contributi della legge 488 hanno spinto le imprese a realizzareprogetti di investimento che altrimenti non avrebbero effettuato?

Alla base di questo interrogativo sottostà un punto delicato efondamentale per capire quale sia stata l'effettiva efficacia della legge 488.Ci si sta chiedendo, infatti, se la possibilità di accedere al contributo abbiaindotto le imprese ad investire di più, o se abbia semplicemente permessoall'impresa di ridurre il costo di un investimento che si sarebbe sostenutocomunque, pena le possibili distorsioni del mercato che conseguono allasostituzione dei mezzi propri o dell'indebitamento, con risorse pubbliche.

Questo non è l'unico quesito che ci si pone in questa fase. L'altro riguardala performance delle aziende agevolate in termini di occupazione, fatturato eredditività.

La domanda da porsi è quindi:

– Aver ricevuto il sostegno pubblico offerto dalla legge 488 ha miglioratola performance aziendale delle imprese beneficiarie?

Chiarite le questioni conoscitive da approfondire, ovviamente, ènecessario stabilire con precisione quali siano le modalità di indagine.

Metodologia

Anche se potremmo pensare che l'analisi di tipo controfattuale sarebbe lavia maestra per rispondere al primo quesito, dobbiamo constatare che,nell'ambito di questo primo step dell'indagine, questa non è stata lametodologia utilizzata. Ne esponiamo comunque brevemente le modalità,sia per completezza di informazione, che nell'ottica di confronto conmetodologie alternative a quella controfattuale (la scelta di fondare lerisposte relative alla stessa domanda di valutazione sul metodocontrofattuale è stata fatta nello studio della Banca d'Italia, presentato piùavanti; cfr pag. 49).

40

Si è svolta, infatti, un'indagine diretta sulle imprese coinvolte nel primoe nel secondo bando della legge 488, privilegiando la raccolta diinformazioni presso le imprese agevolate14. In altre parole, l'effettoincentivante dell'agevolazione è stato valutato ricorrendo alla formulazionedi domande rivolte direttamente agli imprenditori beneficiari (per laprecisione: prevalentemente beneficiari) e non attraverso il confronto tra itassi di completamento degli investimenti per due gruppi di impresedistinguibili, in linea di massima, solo per l'avvenuto o mancato accesoall'agevolazione pubblica.

Tornando alla metodologia effettivamente utilizzata, possiamo dire chel'universo di riferimento era costituito da 2.291 imprese, finanziate sui bandidel 1996 e del 1997, che avevano concluso l'intervento agevolato entro ilsettembre del 1999. Da questo gruppo è stato selezionato un campione di1.391 imprese, stratificate in base alla localizzazione (Centro-Nord e Sud) ealla dimensione aziendale (piccola, media e grande impresa).

Una parte delle imprese è stata interpellata nel corso del 1999, l'altra nel2000, attraverso un questionario a somministrazione mista, ovveroautocompilato per quanto riguarda la sezione sui dati di bilancio e perintervista diretta nelle parti descrittive e di valutazione soggettiva.

Il questionario è stato articolato in quattro sezioni: la prima volta allarilevazione di informazioni di carattere generale, la seconda relativa alladescrizione del mercato di riferimento dell'impresa, la terza riguardante gliinvestimenti effettuati e l'accesso al credito e l'ultima relativa ai risultatieconomici. Il perno di questa parte dell'indagine, comunque, risiede inalcune esplicite richieste di attribuzione di un legame di causalità tral'ottenimento dell'agevolazione e l'effettuazione dell'investimento, nonchétra l'ottenimento dell'agevolazione e la natura dell'investimento. Si va, peresempio, ad indagare se l'incentivo pubblico abbia influito sulle sceltelocalizzative degli imprenditori.

Diverse sono le scelte metodologiche compiute per rispondere allaseconda domanda di valutazione, quella relativa alla performance diimpresa. In questo caso la natura del quesito avrebbe reso improbabile ilricorso ad un beneficiary survey, esponendo eccessivamente la valutazioneal giudizio soggettivo. Si è optato, quindi, per l'indagine controfattuale.

La scelta degli indicatori sulla cui base valutare la performanceaziendale ha portato alla valutazione di quattro dimensioni distinte:fatturato, occupazione, margine operativo lordo (MOL) e redditività delcapitale investito (ROI). In particolare l'intento era quello di stimare l'effettodell'intervento pubblico sul tasso di crescita di ciascuna di queste variabilinel tempo. Questo richiede che per ogni impresa siano disponibili almenodue osservazioni annuali relativamente a ciascuna delle quattro voci

14 L'indagine include solo un piccolo campione di imprese non agevolate. Il metodocontrofattuale, invece, avrebbe richiesto un abbinamento rigoroso (secondo i metodidescritti nel capitolo 2) tra imprese finanziate e non finanziate. Il confronto tra ilcomportamento delle imprese agevolate (gruppo sperimentale) e non agevolate (gruppo dicontrollo) avrebbe permesso di approssimare, in misura ragionevole, quale sarebbe stato ilcomportamento delle imprese agevolate in assenza di finanziamento. Vedremo, comunque,che la scelta del beneficiary survey, praticata dla Ministero dell'Industria (e dall'IstitutoTagliacarne), non comporta – almeno in questo caso– particolari distorsioni sul risultato.

41

indicate e che queste osservazioni si riferiscano a periodi diversi, unoprecedente all'eventuale erogazione del finanziamento e l'altra successiva.Dato che il campione comprende imprese che hanno partecipato ai bandi del1996 e del 1997, gli anni prescelti per la rilevazione dei dati sono il 1995(pre) e il 1998 (post).

Il reperimento dei dati, ovviamente, non è stato semplice ed ha richiestol'integrazione di più fonti statistiche. Le informazioni sulle caratteristichedelle aziende, infatti, erano ricavabili sulla banca dati della legge 488 delMinistero, la stessa utilizzata per la formulazione delle graduatorie e per lagestione del processo di erogazione. Qui, però, l'unità di osservazione nonera costituita dalla singola impresa (che aveva la possibilità di parteciparecon più progetti), ma dall'intervento, per un totale di 13.554 operazioniammesse in graduatoria nei primi due bandi, di cui 11.608 con daticompleti. Integrando questi dati con alcune informazioni provenientidall'Archivio Statistico delle Imprese Attive ASIA-ISTAT, si sono ricavate leinformazioni essenziali per l’analisi degli effetti sull’occupazione e ilfatturato. In fin dei conti, questi dati corrispondevano a 7.350 imprese, dicui 5.932 agevolate (nel senso che almeno uno degli interventi presentati èstato finanziato) e 1.418 imprese non agevolate (nel senso che nessuna delledomande presentate, pur essendo entrate in graduatoria, è stata finanziata).Non tutti i dati necessari allo svolgimento dell'indagine, però, sonoreperibili all'interno delle banche-dati citate. In particolare, per l'analisi dellaredditività risultava necessario avere a disposizione i dati di bilancio delleimprese. Questo ha determinato la perdita del 30% delle imprese ingraduatoria. Una quota significativa anche alla luce del fatto che si tratta diuna categoria ben precisa di imprese: quelle che non essendo costituitecome società di capitali non sono obbligate a presentare i bilanci.

Le fonti utilizzate per reperire i dati di bilancio sono state AIDA e labanca-dati e i bilanci di impresa delle Camere di Commercio.

Come spiega chiaramente Martini (2006) l'eterogeneità delle fontiutilizzate ha influito sulla scelta del campione, inducendo a optare per unasoluzione “mista”:

la molteplicità di fonti informative ha fatto sì che fossero disponibilicampioni diversi per le analisi. Da un lato, è stato utilizzato ilcampione completo di circa 7.000 imprese, i cui dati sono dalla banca-dati del Ministero, dalla banca-dati AIDA e da quella delle Camere diCommercio. Questa soluzione “mista” garantisce una notevoledimensione campionaria, ma a prezzo di una ridotta omogeneità neidati. In particolare, può essere messa in dubbio la confrontabilità deidati ricavati da una fonte per il 1995 e da un’altra fonte per il 1998. Perovviare a questo problema, i valutatori utilizzano anche un campioneridotto di circa 2.000 imprese, in cui tutte le informazioni sullevariabili-risultato sono tratte dalla banca-dati AIDA, sia per il 1995 siaper il 1998. Con questa soluzione si sacrifica la dimensione delcampione (e la sua rappresentatività), ma si ottiene una migliorequalità dei dati.

Il campione, per la sua stessa costruzione comprende sia impreseagevolate sia imprese che, pur ammesse in graduatoria, non hanno ottenutoil finanziamento. Le prime andranno a far parte del cosiddetto gruppo

42

sperimentale e le altre del gruppo di controllo. Per rendere verosimile ilconfronto, però, è necessario tenere sotto controllo le differenze di partenzatra i due gruppi (cfr cap.2).

Le soluzioni adottate rappresentano tre varianti di un modello-base, checonsiste nella regressione lineare rappresentata di seguito,

dove:

– la variabile dipendente (Yi) rappresenta il tasso di crescita (per la

precisione, il logaritmo del tasso di crescita) di ciascuna dimensionedella performance aziendale (ovvero, alternativamente, il logaritmo deltasso di crescita del fatturato, del numero di dipendenti, del margineoperativo lordo e del ROI),

– la variabile-trattamento (Ti) è quella che indica se l’impresa è stata

agevolata o non agevolata,

– il coefficiente stimato (β) della variabile (Ti) rappresenta l’effetto

dell’agevolazione sul tasso di crescita di ciascuna dimensione dellaperformance aziendale,

– le variabili di controllo (rappresentate nel modello come λdim, δloc e Φset) sono le caratteristiche dimensionali (grande, media, piccola),geografiche (Centro-Nord e Mezzogiorno) e il settore economico in cuiopera l’impresa,

– єi rappresenta il termine di errore dato da tutte le variabili non

osservabili (con media 0).

Le varianti al modello appena descritto costituiscono tre diversi metodiper eliminare le differenze di partenza tra i due gruppi di imprese,rispettivamente:

1. la prima variante aggiunge alle variabili esplicative la probabilitàstimata che la singola impresa sia inclusa tra le agevolate(propensity score, cfr. par. 2.1). La probabilità è stata stimata comefunzione dei tre indicatori utilizzati nella formazione dellegraduatorie e può essere pensata come un’approssimazione delpunteggio ricevuto nella fase di selezione. La sua inclusione nellaregressione ha la funzione di correggere il fatto che le agevolatehanno a priori caratteristiche più favorevoli delle non agevolate equindi sono più alte in graduatoria.

43

Yi = α + β Ti + λ dim + δloc + Φ set + єi

2. la seconda variante del modello-base restringe il campione utilizzatonella regressione. Facendo riferimento alle sole imprese che sicollocano in graduatoria nella vicinanza della soglia di ammissione:vengono, cioè, utilizzate le più alte in graduatoria tra le escluse e lepiù basse in graduatoria tra le incluse (confronto attorno al puntodi discontinuità, cfr. par. 2.1).

3. la terza variante utilizza, tra le imprese non agevolate, solo quelleche hanno riportato, durante l’indagine campionaria, di averecomunque effettuato l’investimento. Questo fatto dovrebbe renderlepiù simili alle imprese agevolate e quindi dovrebbe far risaltareancora di più l’effetto dell'agevolazione sulla performanceaziendale.

Risultati

Venendo alla presentazione dei risultati, possiamo subito notare che lascelta di utilizzare la forma del beneficiary survey, nell'intento di trovarerisposte alla prima delle due domande di valutazione, non ha prodotto ledistorsioni temute. Al di là del peso cognitivo a carico degli intervistati(insito in ogni indagine condotta per interviste), la preoccupazioneriguardava la presenza di un incentivo (legato, per esempio, alla percezionedi una maggiore possibilità di accedere ad altri finanziamenti in futuro) adistorcere in positivo le risposte date. L'esito, presentato nel rapporto delMinistero, sotto il titolo “L'efficacia dell'intervento come rilevatadall'impresa”, appare del tutto al riparo da questo rischio. Non c'è, infatti, ungiudizio ampiamente positivo relativamente all'addizionalità degli interventie agli effetti della legge 488.

La presentazione analizza le risposte degli imprenditori da più punti divista:

✔ il raggiungimento degli obiettivi prefissati con l'investimento✔ la sostituibilità tra finanziamento privato ed agevolazione✔ l'impatto sulla localizzazione degli impianti✔ l'impatto sui processi tecnologici✔ l'impatto sul costo del finanziamento✔ alcune considerazioni sull'efficienza del provvedimento

Qui ci soffermiamo brevemente soltanto sull'esito ottenuto relativamenteal secondo punto, quello più propriamente legato al tema dell'addizionalità,coerentemente con quanto richiesto dalla domanda di valutazione.

Solo il 15% degli intervistati ha sostenuto che la decisione di avviarel'investimento è stata condizionata dalla possibilità di accedere alfinanziamento in maniera significativa o determinante (fig. 7). Al Centro-Nord questo valore è più elevato di ben 10 punti percentuali, attestandosi sul5%. Complessivamente, il 41% degli imprenditori avrebbe ugualmenterealizzato il progetto con risorse private.

44

Come abbiamo in parte già visto, risulta significativa la differenza tra ladistribuzione delle risposte date al Centro-Nord e al Sud (al Centro-Nordl'85% degli imprenditori avrebbe comunque effettuato l'investimento,mentre al Sud questa quota scende al 71%). La differenza potrebbe essereattribuile ad un'effettiva disponibilità finanziaria (propria o perindebitamento) delle imprese del Sud, ma anche da un maggior pesodell'effetto incentivante al Meridione, a cui è stato destinato l'88% dei fondidella 488.

Figura 7. Distribuzione delle risposte

Con riferimento agli investimentirealizzati ricorrendo alla legge 488, ladecisione di attivarli quanto è statacondizionata dalla possibilità diaccedere a tali forme difinanziamento?

Frequenza percentuale delle risposte

SUD CENTRONORD

ITALIA

- in nessuna maniera: si sarebbecomunque investito lo stessoammontare

27 49 41

- in qualche misura: si sarebbecomunque investito ma con unammontare inferiore

44 36 39

- in maniera significativa: sarebbestato radicalmente modificato il pianodi investimenti

17 7 11

- in maniera determinante: sisarebbero annullati gli investimenti 9 1 4

- non indica 3 7 5TOTALE 100 100 100

Fonte: Ministero dell'Industria (2000)

Come già illustrato, l'approccio utilizzato per rispondere alla secondadelle domande di valutazione è più complesso. I risultati in questo casovariano in modo significativo sulla base della variabile-risultato considerata(fatturato, occupazione, margine operativo lordo e redditività del capitaleinvestito), seppure facendo rilevare una sostanziale incidenza positivadell'intervento, soprattutto relativamente ai primi due parametri.

I risultati sono rappresentati in modo più specifico nelle figure 8a e 8b, incui le cifre rappresentate indicano la differenza percentuale tra i logaritmidei tassi di crescita di ciascuna variabile-risultato per imprese agevolate enon agevolate.

45

Figura 8a. Gli effetti sulla performance di impresa15 (fonte AIDA)

Modello utilizzatoDifferenza % tra i tassi di crescita

per imprese agevolate e non agevolateFatturato Occupazione Mol/fatturato ROI

Campione costruitoattorno al punto didiscontinuità

18% 15% 25% 39%

G.ppo di controllo:non agevolate chehanno investito

47% 21% -8% 11%

Probabilità diagevolazione inclusanel modello

12% 17% 12% 17%

Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)

Ai questi risultati si è aggiunta una stima calcolata su un campione piùampio di imprese, derivante dall'integrazione dei dati già analizzati con altridi fonte CERVED (figura 8b).

Figura 8b. Gli effetti sulla performance di impresa (fonte CERVED)

Modello utilizzatoDifferenza % tra i tassi di crescita

per imprese agevolate e non agevolateFatturato Occupazione Mol/fatturato ROI

Probabilità diagevolazione inclusanel modello

23% 23% -4% -4%

Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)

Come rilevato dallo studio del Ministero, con una certa cautela, possiamoconcludere che l'effetto delle agevolazioni previste dalla legge 488 risultapositivo e significativo per le variabili di crescita prese in esame (fatturato eoccupazione) e incerto per quanto riguarda gli effetti sulla redditività.

Infatti, l'effetto sul tasso di crescita del fatturato risulta positivo esignificativo (variando tra il 12 e il 18%) nei quattro casi, l'effetto sul tassodi crescita dell'occupazione risulta sempre positivo (variando dal 15 al 23%)seppure non sia statisticamente significativo in uno dei quattro casi (relativoal metodo di costruzione del gruppo di controllo utilizzando le sole impresenon agevolate che hanno ugualmente investito).

Il segno meno, invece, seppure relativo a stime che non risultanostatisticamente significative, appare in tre delle 8 stime relative allaredditività.

15 I valori in grassetto sono quelli statisticamente significativi.

46

VALUTAZIONE DELLA LEGGE 488/92: GLI EFFETTI OCCUPAZIONALI SUL TERRITORIO

Il secondo degli studi preannunciati in apertura del capitolo 4 porta iltitolo, Valutazione della legge 488/92: gli effetti occupazionali sulterritorio, è stato pubblicato nel 2003 e condotto dal Ministero delleAttività Produttive.

In proposito, il primo elemento da notare riguarda gli intenti dell'attivitàvalutativa, non più orientati a stimare gli effetti direttamente prodotti sulleimprese ma, piuttosto, a considerare le ricadute dell'intervento sui territori.

La domanda di valutazione

Il quesito si fa, in qualche modo, più interessante dal punto di vista delcarattere di “politica pubblica” dell'intervento da valutare. Se l'intentodell'azione pubblica, infatti, è quello di favorire la crescita economica e losviluppo nei territori svantaggiati, mirando ad effetti di riequilibrio delledisparità territoriali, è proprio all'unità di studio del territorio che si deveguardare. Al contempo, però la sfida si fa molto più complessa, poiché levariabili in gioco aumentano e il modo in cui queste interagiscono einfluiscono sul risultato finale è ancora meno prevedibile e controllabile.

In questo caso, il parametro di valutazione prescelto è quellodell'occupazione creata dall'intervento.

Torniamo quindi al punto di partenza, ovvero alla domanda divalutazione che, in questo caso, potrebbe suonare così:

– Qual è stato l'effetto che l'applicazione della legge 488 ha prodottosull'occupazione complessiva delle aree in cui le imprese agevolatesono localizzate?

Notiamo che l'effetto in questione è la risultante di effetti di segnodiverso, positivi e negativi, che possono coesistere.

In particolare è ragionevole attendersi:

✗ un effetto positivo diretto, legato alla creazione di posti di lavoronelle imprese agevolate (il numero di nuovi occupati è elementoessenziale nella valutazione del progetto);

✗ la creazione di esternalità positive generate dall'accumulazione dicapitale e quindi dall'effettuazione di ulteriori investimenti da partedelle imprese agevolate e non agevolate;

✗ un effetto di spiazzamento, per cui si ottiene una limitazione degliinvestimenti da parte di altre imprese dello stesso territorio, cherisulterebbero spiazzate nel loro posizionamento sul mercato.

47

Metodologia

In questo caso, la scelta della variabile-risultato va da sé, si tratta infattidi stimare gli effetti della legge in materia di occupazione. Per quantoriguarda la scelta dell'unità territoriale cui fare riferimento. Si rinunciaad utilizzare il consueto, ma poco significativo dal punto di vista statistico,livello delle unità amministrative (comune, provincia o regione), preferendolavorare per SLL, sistemi locali del lavoro16 .

In particolare la variazione del numero degli occupati per SLL èfacilmente reperibile a partire dai censimenti dell'industria e dei servizi(Istat). Gli anni rilevanti ai fini dell'indagine sono il 1996 e il 2001. In altreparole, si osserverà la variazione dell'occupazione tra questi due anni.

Una maggiore riflessione richiede, invece, la scelta relativa allavariabile-trattamento.

Secondo la mappa configurata dall'Istat nel 1991, i sistemi locali dellavoro erano 784. Come è ovvio, la legge 488 (trattamento) non è stataapplicata in modo omogeneo sul territorio nazionale, e quindi èdiversamente distribuita tra i diversi SLL. In particolare, considerando iprimi cinque bandi 488 per l’industria manifatturiera, 223 SLL (di cui 33 alSud e 190 al Nord) non sono stati destinatari di alcuna agevolazionenell'ambito della 488. In questo caso, però, risulterebbe alquanto imprecisosuddividere i sistemi locali del lavoro in modo dicotomico, fra trattati e nontrattati. Poiché fra i trattati rientrerebbero sistemi locali con entità diintervento ben diverse tra loro.

16 Secondo la corrente definizione Istat i sll “rappresentano i luoghi della vita quotidianadella popolazione che vi risiede e lavora. Si tratta di unità territoriali costituite da piùcomuni contigui fra loro, geograficamente e statisticamente comparabili. I sistemi localidel lavoro sono uno strumento di analisi appropriato per indagare la strutturasocioeconomica dell’Italia secondo una prospettiva territoriale”. L’obiettivo dei sll è,quindi, innanzitutto quello di prescindere dai consueti vincoli amministrativi, per quantoquella comunale costituisca l’unità elementare per l’individuazione degli spostamentiquotidiani per motivi di lavoro. Fonte basilare per la costruzione dei sistemi locali dellavoro è costituita dai dati locali del censimento. Non a caso, a partire dal 1971 unacrescente attenzione è stata rivolta ai dati censuari con riferimento locale ed è statointrodotto, per la prima volta, il quesito sugli spostamenti quotidiani per motivi di lavoro odi studio. Possiamo successivamente definire tre concetti-guida stabiliti al fine di compierel’opera di regionalizzazione effettuata attraverso i sistemi locali del lavoro:l’autocontenimento (per cui attraverso il rapporto tra il lato della domanda e quellodell’offerta degli spostamenti per motivi di lavoro, si misura la capacità di un territorio dicomprendere il maggior numero di relazioni umane che intervengono tra le localitàresidenza e quelle di lavoro), il vincolo di contiguità (per cui si presuppone che connessionitra località non contigue non siano significative) e la definizione della località centrale (percui ci si riferisce al sistema locale utilizzando il nome della località più attrattiva confrontidi quelle circostanti). Sulla base di questi elementi, e utilizzando specifici algoritmi emetodi di calcolo trasparenti e condivisi a livello internazionale, si ottiene una griglia di sllche copre l’intero territorio nazionale; una griglia che approssima mercati del lavoroautocontenuti. I sll sono stati definiti per la prima volta tramite il censimento del 1981,risultando ben 955. Il loro numero è sceso a 784 con i dati censuari del 1991 e risultano 686secondo le elaborazioni dell’ultimo censimento (2001). La variabilità nel tempo dellagriglia territoriale costituita dai sll, può essere percepita come un limite ai fini dello studiosocio-economico del territorio. Tale variabilità, ovviamente, è data dallo stesso metodo dicostruzione di queste unità di indagine e può essere superata, almeno parzialmente,mantenendo la stessa griglia territoriale per più tempo.

48

Si dovrebbe piuttosto riuscire a definire l'intensità di trattamento ricevutodai diversi SLL. Tale intensità, e quindi la variazione della variabiletrattamento, è definita come il numero di posti di lavoro direttamente creatinelle imprese beneficiarie e documentati in sede di rendicontazione degliinvestimenti effettuati. Stiamo parlando, quindi, di posti di lavoroeffettivamente creati nelle imprese agevolate, per effetto diretto della 488.In altre parole, 122.646 occupati (di cui 86.218 al Sud) creati nel periodo1996-2001, relativi ai primi sei bandi “industria”, e distribuiti in mododisomogeneo sul territorio della penisola. Riscontreremo, infatti, sistemilocali con nessuno di questi occupati (d'ora in avanti occupati-488) laddovenessun intervento è stato applicato e SLL con un numeri tendenzialmentepiù elevati di occupati-488, man mano che scendiamo verso Sud.

Fatte queste premesse, è possibile descrivere il modello di regressioneutilizzato per la valutazione, definibile come una doppia differenza nelledifferenze, quella pre-post (1996-2001) e quella tra unità trattate e nontrattate, nella fattispecie meglio definibili come SLL ad elevata intensità ditrattamento e SLL a bassa intensità di trattamento.

dove:

– la variabile OCCi,anno indica il numero di occupati osservati in ciascun

i-esimo SLL nell’anno indicato;

– la variabile dipendente OCCi,'01 – OCCi,'96 rappresenta, quindi, la

variazione dell’occupazione osservata in ciascun SLL tra il 2001 e il1996;

– la variabile Occ488i indica il numero cumulato di posti di lavoro

rendicontato in ciascun i-esimo SLL dalle imprese agevolate;

– la voce OCCi,'96 – OCCi,'91 rappresenta la crescita occupazionale

osservata nei 5 anni precedenti, cioè tra il 1996 e il 1991 (quando lalegge 488 non era ancora in vigore);

– βXi indica una serie di caratteristiche proprie di ciascun SLL chepossono influenzare sia il ricorso alla legge 488 che la dinamicadell’occupazione, nella fattispecie: il tasso di crescita della popolazione,la superficie del SLL, o il fatto che il SLL sia prevalentemente urbano oad alta specializzazione produttiva;

– єi rappresenta il termine di errore dato da tutte le variabili non osservabili (con media 0);

– infine, α è il coefficiente di interesse dal punto di vista della valutazionedegli effetti. Se la stima del coefficiente risultasse significativamente piùgrande di uno, ciò significherebbe che ad un posto di lavoro creato

49

OCCi,'01 – OCCi,'96 = costante + α Occ488i + γ (OCCi,'96 – OCCi,'91) + βX

i + єi

direttamente nelle imprese finanziate dalla legge 488 corrisponde unincremento maggiore di un’unità nella crescita dell’occupazione sulterritorio.

Per la sua stessa struttura, questo modello di regressione presentanumerosi problemi di stima, per cui il tradizionale metodo dei minimiquadrati presenta possibilità di distorsione, evitabili con altre tecnichestatistiche: quello delle variabili strumentali e il Generalized Method ofMoments.

Risultati

Dal punto di vista del metodo, l'elaborazione fa emergere differenzesignificative fra i tre metodi di stima (minimi quadrati, variabili strumentalie metodo generalizzato dei momenti), come si nota nella figura 9.

Sul lato dei risultati emerge, invece, una contrapposizione notevole tra ilCentro-Nord, dove in linea di massima sembra prevalere l'effetto dispiazzamento, e il Sud dove, al contrario, si registra un effettomoltiplicativo significativo.

Figura 9. Le stime sugli effetti della 488 sull'occupazione nei territori

Modello economico utilizzatoStima dell'effetto di un occupato488 sullacrescita dell'occupazione a livello localeMezzogiorno Centro-Nord

Minimi quadrati ordinari 0,66 -2,18Variabili strumentali 1,91 -0,16M. generalizzato dei momenti 3,75 -1,79 Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)

QUAL È L'EFFETTO DEGLI INCENTIVI AGLI INVESTIMENTI? UNAVALUTAZIONE DELLA LEGGE 488/92

L'ultimo degli studi sulla 488/92 che presenteremo, Qual è l'effetto degliincentivi agli investimenti? Una valutazione della legge 488/92, è statoeffettuato dal Servizio Studi della Banca d'Italia ed è stato pubblicato nelmarzo del 2006.

La domanda di valutazione

Questo studio torna ad affrontare la questione dell'addizionalitàdell'intervento ma, a differenza del primo caso di studio esaminato, lo faattraverso il metodo dell'indagine controfattuale.

La domanda di valutazione, pertanto, torna ad essere:

– I sussidi hanno reso possibili investimenti che altrimenti non sarebberostati intrapresi?

L'interrogativo implica alcune considerazioni aggiuntive: la possibilitàche si verifichi una sostituzione inter-temporale nell'effettuazione degli

50

investimenti, ovvero che gli incentivi inducano le imprese ad effettuareprima investimenti che avrebbero fatto successivamente, oppurel'eventualità che si verifichino effetti di spiazzamento o di sostituzionecross-section. In altre parole, che l'incentivo avvantaggi le impresebeneficiarie a discapito di altre. Questo effetto potrebbe risultaresignificativo per imprese che operano nella stessa area e che producono benidello stesso tipo.

Metodologia

Le fonti dei dati utilizzati per compiere l'indagine sono essenzialmentedue. La prima, chiaramente non trascurabile, è la banca dati della legge 488del Ministero, come già indicato, preziosa per reperire informazioni sia sulleimprese che sull'iter di implementazione della legge. Ricordiamo che, inquesta banca dati sono contenute tutte le informazioni utilizzate per lacostruzione delle graduatorie, nonché le date di erogazione dei contributi.L'altra fonte riguarda le indicazioni di bilancio delle società di capitali,raccolte dalla CERVED e relative ad un periodo piuttosto esteso (1993-2001). I vantaggi legati a questa scelta risiedono nel fatto che si riferisconoalla quasi totalità delle società di capitale e che coprono un arco temporalesia precedente che successivo alla pubblicazione dei due bandi che sarannopresi in esame: il secondo (1997) e il terzo (1998)17.

D'altro canto, così come succedeva per il primo studio esaminato, ladisponibilità dei dati di bilancio è condizionata alle sole imprese che hannol'obbligo di presentarlo e, conseguentemente, porta a trascurare dalcampione le imprese più piccole e non costituite come società di capitale.

Anche in questo caso, nella costruzione del campione, si è dovuto tenerconto che ciascuna impresa aveva la possibilità di partecipare ai diversibandi con più di un progetto. Ciò significa che, dalle 3.358 società chehanno partecipato al secondo bando e dalle 3.731 che hanno partecipato alterzo, sono state sottratte quelle che hanno ricevuto gli incentivi in più di unbando e quelle che non risultavano beneficiarie in uno dei bandi, ma loerano in bandi successivi o precedenti. Questa restrizione ha ridotto ilnumero delle imprese a 2.433 per il secondo e 2.881 per il terzo bando.Questa base dati è stata successivamente incrociata con i dati CERVED cosìda ricostruire un campione chiuso, ovvero un campione per cui fosserodisponibili i bilanci per tutti gli anni presi in considerazione. Si è costruito,così, il campione chiuso relativo alla graduatoria totale, formato da 1.007imprese per il secondo bando (periodo di riferimento: 1994-2001) e da1.329 imprese per il terzo bando (periodo di riferimento: 1995-2001).

Per evitare di risultare vittime degli inconvenienti relativi all'uso di uncampione così costruito (attrition), si è costruito un ulteriore campione di

17 Il primo bando è stato escluso perché, nel passaggio dalle vecchie modalità di interventoalla 488, era contemplata una clausola transitoria che permetteva di erogare finanziamentianche al di fuori della legge 488. In particolare, per alcune imprese che risultavanodestinatarie di aiuti pubblici in base alla normativa precedente, le erogazioni effettive degliaiuti vennero sospese a causa dei problemi di finanza pubblica della prima metà degli anni'90. Fu quindi deciso che le erogazioni sarebbero avvenute con i finanziamenti relativi alprimo bando della legge 4888. Il quarto bando è stato escluso perché in questo caso leerogazioni degli aiuti sono state fortemente irregolari. In ogni caso, poiché la disponibilitàdei dati CERVED termina comunque al 2001, l'esclusione del quarto bando rappresenta unaperdita informativa tutto sommato poco rilevante. (Servizio Studi Banca d'Italia, 2006).

51

imprese. In altre parole, la possibilità che un'impresa non risulti censita, osia censita solo temporaneamente, negli archivi CERVED per ragioni nonestranee all'erogazione dei finanziamenti della 488, viene mitigatoattraverso la costruzione di un campione aperto. Ovvero un campionecostituito da imprese per cui siano disponibili almeno due osservazioni: unaprecedente e una successiva all'intervento.

Per affinare l'attendibilità dell'analisi controfattuale si decide diristringere ulteriormente il campo, facendo sì che le imprese trattate e leimprese del gruppo di controllo (non trattate) siano quanto più simili traloro, in modo che il gruppo di controllo possa costituire un'approssimazionequanto più verosimile del controfattuale.

Si costituiscono così due ulteriori campioni: uno fondato sul metodo delconfronto attorno al punto di discontinuità, per cui si inseriscono solo leimprese poco sotto e poco sopra (30% e 10%) la soglia del punteggiodiscriminante per l'acceso al finanziamento, e l'altro composto da impresenon sussidiate per cui le deviazioni dal tasso di crescita degli investimentidelle imprese agevolate è minimizzato.

Veniamo, infine, all'equazione di regressione utilizzata per la valutazione:

dove:

– la variabile dipendente (Yit) rappresenta l'accumulazione del capitale

per l'impresa i nell'anno t;

– LEGGE 488 indica se l'impresa ha ricevuto l'agevolazione

– YEARt indica una serie di variabili temporali

– POST è una dummy per ciascun anno successivo all'introduzione dellamisura di policy

– Zit è un vettore covariante

– γt rappresenta i coefficienti di interesse, ovvero l'effetto della 488 sulle

imprese trattate

52

Yit = α LEGGE 488i+∑tβ

t YEAR

t +∑

t γ

t (LEGGE 488

i* POST

t)+Z

it+єit

Risultati

Per esigenze di sintesi e di chiarezza ci limitiamo a presentare solo alcunidei risultati dello studio, relativi al II bando della 488, concentrandoci, piùche altro, sugli effetti di alcune variazioni metodologiche.

Il primo indicatore analizzato consiste nel confronto fra il rapporto trainvestimenti e capitale fisico delle imprese dell'anno precedente (It/Kt-1).

Premettiamo che, per gli anni precedenti all'intervento (1995 e 1996), leimprese finanziate si caratterizzavano già per investimenti più alti sia inmedia che in mediana.

Esponiamo, quindi, l'esito del confronto effettuato per differenzesemplici. Questi calcoli mostrano che gli investimenti sul capitale delleimprese sussidiate sono stati superiori per tutto il periodo. Tuttavia il segnodelle differenze diventa negativo nell'ultimo anno per cui sono disponibili idati (figura 10).

Figura 10. Bando 2. Campione chiuso. It/Kt-1 Differenze semplici18

Anno 1997 1998 1999 2000 2001

Media 0,062 0,112 0,011 -0,001 -0,130***

Mediana 0,081** 0,059** 0,039* 0.059** -0,026 Fonte: Banca d'Italia, 2006

Con questa considerazione, ci limitiamo alla sola constatazione delladifferenza pre – post nei livelli medi, e mediani, dell'indicatore prescelto.Per capire quale sia la parte degli investimenti delle imprese trattateeffettivamente attribuibile alla 488, è necessario analizzare le stime tramiteil metodo della differenza nelle differenze.

Possiamo confrontare, allora, la figura 10 con la prima sezione dellafigura 11, trovando per esempio che, se -nel 1998- il rapporto degliinvestimenti delle imprese trattate superava quello delle imprese non trattatedello 0,12 stimato per differenza semplice, con il metodo diff-in-diffs, lostesso valore si dimezza (0,06). Ben poco favorevoli sono le stimedell'impatto della legge 488 ottenute, con il metodo della differenza nelledifferenze, per i valori della mediana: come mostra la prima sezione dellafigura 10, si tratta di stime perlopiù statisticamente non diverse da zero.

L'effetto di sostituzione inter-temporale, già suggerito dalla differenzasemplice, intanto, è confermato dal metodo diff-in-diffs, poiché i valoristimati per il 2001 presentano il segno meno: in media, -0,13, checorrisponde al 46% del rapporto I/K delle imprese richiedenti e nonfinanziate.

18 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard0,029 per la media, 0,021 per la mediana.

53

Figura 11. Bando 2. Campione chiuso. Stime differenza nelle differenze19

Anno 1997 1998 1999 2000 2001

1. Variabile dipendente It/Kt-1

Media 0,013 0,063* -0,037 -0,001 -0,130***

Mediana 0,031 0,009 -0,010 0,008 -0,077***

2. Variabile dipendente It/St-1

Media 0,008 0,001 0,003 0,008 -0,025**

Mediana 0,015 0,015 0,005 0,011 -0,016**

3. Variabile dipendente It/At-1

Media 0,002 0,015* -0,001 0,007 -0,026***

Mediana 0,012* 0,014** 0,006 0,002 -0,017 ** Fonte: Banca d'Italia, 2006

L'uso del rapporto tra investimenti e capitale fisico delle imprese comeindicatore può essere fonte di alcune distorsioni. Innanzitutto perché iprogetti di investimento finanziabili con la 488 includono ammodernamenti,ristrutturazioni e riconversioni. Le imprese sussidiate, quindi, potrebberoaver accelerato il rinnovamento del loro stock di capitale con la vendita divecchie attività e l'acquisto di nuovi beni. Qualora avessero contabilizzato lavendita di vecchie attività nell'anno precedente a quello in cui sono statieffettuati i nuovi investimenti, la valutazione dell'impatto dell'interventopotrebbe risultare distorta verso l'alto. In secondo luogo, la banca datiCERVED valuta il capitale fisico al netto del deprezzamento e, poichél'ammortamento dei capitali è consentito sulla base di una frazione fissaannuale, le imprese più vecchie (quelle favorite dalla 488) potrebbero farregistrare stock di capitale netto più bassi. Un ulteriore effetto di distorsionepositiva, quindi, potrebbe derivare dalla scelta di questo indicatore.

Per ovviare a questo tipo di inconveniente e misurare la robustezza dellavoro compiuto, si sono praticati i calcoli su altri due indicatori: il rapportotra investimenti e fatturato (It/St-1) e il rapporto tra investimenti e attivo

dell'anno precedente (It/At-1). I risultati sono illustrati nelle sezioni 2 e 3

della figura 10. Esplicitamente, ci limitiamo a notare soltanto l'ulterioreconferma di effetti di sostituzione intertemporale.

Variazioni ulteriori sono state compiute sulla costituzione del campione.Come già accennato precedentemente, è stato costituito un campione aperto,ovvero un campione che includesse tutte le imprese con almeno unaosservazione precedente all'intervento ed una successiva. Questa operazioneera diretta a mitigare eventuali distorsioni negative della valutazione, dovute

19 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard-Media g.ppo 1: 0,035, mediana g.ppo 1: 0,027, media g.poo 2: 0,010, mediana g.ppo 2:0,007, media g.ppo 3: 0,007 e mediana g.ppo 4: 0,006.

54

alla possibile maggiore mortalità delle imprese che hanno ricevuto ilfinanziamento. L'esito (presentato nella figura 12) sembra confermare unalieve variazione nella direzione attesa. In altre parole, il coefficiente γt èleggermente più elevato negli anni immediatamente successiviall'intervento, per le imprese del campione aperto.

Figura 12. Bando 2. Campione aperto. It/Kt-1 Stime diff in diffs20

Anno 1997 1998 1999 2000 2001

Media 0,026 0,076** -0,022 0,005 -0,138***

Mediana 0,045 0,034 -0,002 0,024 -0,070** Fonte: Banca d'Italia, 2006

Ulteriori variazioni riguardano la verifica di differenze di impattorelativamente a differenze territoriali, dimensione aziendale, grado dicopertura del sussidio. Come potevamo aspettarci, gli esiti dimostrano chel'impatto è tendenzialmente maggiore al Sud, per le piccole imprese(definite come quelle con un fatturato inferiore della mediana) e per quelleche hanno ricevuto sussidi più generosi.

Veniamo adesso a confrontare i risultati per due ulteriori e diversecostruzioni del campione, già indicate nella sezione “metodologia”: quellafondata sul metodo del confronto attorno al punto di discontinuità, per cui siinseriscono solo le imprese poco sotto e poco sopra (30% e 10%) la sogliadel punteggio discriminante per l'acceso al finanziamento, e l'altrocomposto da imprese non sussidiate per cui le deviazioni dal tasso dicrescita degli investimenti delle imprese agevolate è minimizzato, inparticolare laddove l'indicatore I/K relativo alle imprese del gruppo dicontrollo era compreso all'interno dell'intervento (1+ g)*mt (con mt che

corrisponde al tasso di crescita di I/K per le imprese trattate). I campionicosì costruiti sono due: un per g=2 e un per g=1,5. I risultati sonorappresentati di seguito (figure 13 e 14).

Figura 13. Bando 2. Campione chiuso. It/Kt-1 Stime diff in diffs 21

Anno 1997 1998 1999 2000 2001

Media (+ 30%) 0,015 0,119* -0,060 -0,025 -0,238***

Media (+ 10%) -0,029 0,104 -0,070 -0,093 -0,233*** Fonte: Banca d'Italia, 2006

20 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard-Media: 0,036, mediana 0,028.21 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard-Media (30%): 0,066, media (10%): 0,079.

55

Figura 13. Bando 2. Campione chiuso. It/Kt-1 Stime diff in diffs 22

Anno 1998 1999 2000 2001

Media (g=2) -0,056 0,144** -0,095 -0,0164**

Media (g=1,5) -0,082 0,213** 0,004 -0,136 Fonte: Banca d'Italia, 2006

Gli ultimi sforzi valutativi riguardano il tentativo di comprendere glieffetti indiretti della 488. In particolare, si è tentato di capire se si sianoverificati effetti di spiazzamento o di sostituzione cross-section. Poichéquesto fenomeno dovrebbe essere più intenso all'interno della stessa areageografica o tra imprese in stretta competizione tra loro perché dedite allarealizzazione di prodotti simili, per stimare l'entità dello spiazzamento sisono confrontate imprese appartenenti alla stessa regione o allo stessosettore. L'ampiezza delle categorie prescelte (settore e regione) apparelimitante, per quanto l'effetto atteso sia stato effettivamente rilevato.

Infine, si è cercato di comprendere quali siano stati gli effetti sulcomportamento delle imprese, utilizzando come variabili dipendenti il costodel lavoro, i profitti, il cash flaw e il debito (normalizzati per il fatturato).Mentre, non è stato riscontrato alcun effetto significativo sui costi dellavoro, si è verificato che le imprese finanziate con il secondo bando, nel2001 presentavano profitti e cash flaw più elevati, parallelamente a debitiminori rispetto alle imprese non sussidiate. Si conferma, quindi, la presenzadi un effetto sostituzione. Per cui le imprese sussidiate avrebbero utilizzato ifondi pubblici per attuare piani di investimento che altrimenti sarebberostati intrapresi negli anni successivi. Mentre nel periodo in cui gliinvestimenti si sarebbero dovuti effettuare, si sono liberate risorsefinanziarie per usi alternativi.

4.2 L'impatto degli incentivi pubblici per la R&S: il Fsra23

Il FSRA, Fondo Speciale per la Ricerca Applicata, segna l'inizio dellastoria del sostegno alle attività di ricerca. Proprio a questo Fondo, infatti,riconducono i primi decenni di aiuti pubblici all'innovazione. Istituito con lalegge 1089/68, disponeva inizialmente di 100 miliardi di lire destinati asostenere lo sviluppo tecnologico e incentivare le imprese alla formazionedelle risorse umane impegnate nella ricerca. In risposta ai significativicambiamenti avvenuti in campo tecnologico ed economico, nel corso deltempo, numerosi interventi sono andati ad integrare e potenziare glistrumenti di sostegno previsti al momento di istituzione del fondo. Inparticolare, la legge 46/1982 ha dotato il fondo di una nuova e più moderna

22 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard-Media (g=2): 0,062, media (g=1,5): 0,092.23 Fonti: Merito M., Giannangeli S., Bonaccorsi A., L'impatto degli incentivi pubblici perla R&S sulle PMI, in De Blasio G., Lotti F. La valutazione degli aiuti alle imprese, Mulino,PrismiBologna, 2008.Documenti parlamentari-http://wai.camera.it/_dati/leg13/lavori/documentiparlamentari/indiceetesti/lvii/005ii/00000021.pdf

56

serie di strumenti di intervento, a partire dal Programma Nazionale diRicerca, con cui si inizia a sviluppare una politica nazionale della ricerca.

Vale la pena, inoltre, di citare la legge 22/87 che ha disposto lafinanziabilità di progetti inseriti in iniziative di cooperazione internazionale(progetti Eureka), la legge 67/88 con cui il 10% del Fondo è stato riservatoal finanziamento di attività di formazione professionale, la legge 346/88 cheha introdotto la possibilità di ottenere contributi in conto interessi per ifinanziamenti erogati direttamente dall'IMI (Istituto Mobiliare Italiano, entegestore del fondo fino al 1989, quando la gestione è passata al Ministerodell'Università e della Ricerca Scientifica e Tecnologica) e destinati aprogetti di importo superiore ai 10 miliardi di Lire.

Poiché lo studio presentato - si tratta della prima valutazione formale expost della politica dei finanziamenti pubblici per la R&S effettuato in Italia -si riferisce agli anni 1999-2000, di seguito presentiamo le caratteristicheregolative del Fondo, secondo quanto disposto dal Decreto Ministerialedell'8 agosto 1997 e successivamente dal D.Lgs 297/99 che ha condotto allasoppressione del FSRA per la creazione del Fondo per l'Agevolazione allaRicerca (FAR).

4.2.1 Il FSRA: metodi, obiettivi e risultati

In sintonia con quanto stabilito nel D.M. 8/8/1997 e con le normecomunitarie in materia, il Fondo per la ricerca applicata prevede chepossano essere finanziate, anche separatamente, attività di ricercaindustriale (per un'agevolazione massima concedibile del 50%) e attivitàdi sviluppo precompetitivo (per un'agevolazione massima concedibile del25%).

I soggetti ammissibili agli incentivi sono: le imprese industriali,consorzi e società consortili tra imprese industriali, enti pubblici economiciche svolgono attività produttiva, società di ricerca costituite tra impreseindustriali, centri di ricerca industriale con personalità giuridica autonoma,consorzi tra imprese industriali ed enti pubblici, istituti ed enti pubblici diricerca a carattere regionale, imprese artigiane, aziende speciali degli entilocali, imprese del settore agro–industriale, società consortili a caratteremisto pubblico–privato, consorzi e società consortili comunque composti,purché a partecipazione finanziaria maggioritaria di imprese manifatturiere.

Nell'ultima fase di applicazione dell'intervento, la procedura peraccedere al finanziamento comprendeva alcune fasi successive. Il primostep, ovviamente, prevedeva la compilazione di un modulo di domanda daparte di coloro che ambivano al finanziamento. Nei 30 giorni successivi allaricezione del modulo, il Ministero, verificate la regolarità e la completezzadella domanda, la trasmetteva contemporaneamente all'IMI e ad unComitato Tecnico Scientifico (CTS). L'Istituto Mobiliare, entro 60 giorni,ne verificava la validità economico-finanziaria, con particolare attenzionealle ricadute occupazionali del progetto. Il CTS, composto da esperti iscrittiad uno specifico albo ministeriale, contestualmente, si occupava degliaspetti tecnico-scientifici del progetto presentato, in particolare rispetto allasua validità, originalità e utilità.

Entro 90 giorni dalla presentazione della domanda l'istruttoria dovevaessere terminata. In caso di espressione positiva circa la finanziabilità del

57

progetto, entro i due mesi successivi, il sostegno veniva confermato da undecreto ministeriale e attraverso la stipula di un contratto tra IMI e ilbeneficiario. Si apriva così la fase del cosiddetto check-point, ovvero unperiodo in cui esperti dell'IMI e del CTS avrebbero verificato in loco lavalidità effettiva del progetto.

Per quanto riguarda i criteri di ammissibilità, oltre a quelli già citati, valela pena di ricordare l'attenzione posta al criterio di addizionalità,presupposto implicitamente accettato per le piccole e medie imprese everificato, con scrupolo, per le grandi.

Venendo agli strumenti attraverso cui il Fondo finanziava la ricerca(figura 14), è possibile operare una distinzione fra tre tipi di intervento: ilfinanziamento di iniziative di ricerca e formazione proposte autonomamentedalle imprese industriali (bottom-up), il finanziamento di iniziative diricerca e connesse ad attività di formazione ad elevato rischio industriale edi rilevante interesse per lo sviluppo dell'economia nazionale, definiti dalMinistro dell'allora MURST (top-down) e attività di servizio alla ricerca.

Figura 14. Gli interventi finanziati dal Fondo per la ricerca applicata

INTERVENTO OBIETTIVO STRUMENTI

Interventi bottom-up

Sostegno allaricerca privata

Progetti autonomamente presentati dalleimprese (l..46/82)

Progetti Eureka (l.22/87)

Progetti ex lege 346/88

Contributi alle PMI (l.46/82, art.4)

Formazione

Progetti formazione professionale(l.67/88)

Riconversione strutture di ricercaindustriale (l.151/94)

Assunzione dottori di ricerca (l.196/ 97)

Interventitop-down

Pianificazione esviluppo tecnologieinnovative

Programmi Nazionali di Ricerca(l.46/82, art.9)

Diffusione sul territorio

Parchi scientifici e tecnologici

Attività di servizioalla ricerca

Partecipazione alrischio di impresa

Società di ricerca (l.1089/68)

Fonte: documenti parlamentari-http://wai.camera.it/

Tra le modalità di intervento finanziate attraverso il Fondo Speciale per laRicerca Applicata, lo studio di valutazione che andremo ad esaminare-realizzato da alcuni ricercatori dell'Università di Pisa e dell'IstitutoSant'Anna - analizza la parte degli interventi definiti come bottom up, pergli ultimi anni di attività del Fondo (1999 e 2000).

58

La domanda di valutazione

In questo caso, la domanda di valutazione torna a riguardare laperformance delle imprese beneficiarie. Ci si chiede, in altre parole, sel'ottenimento del sostegno pubblico abbia effettivamente favoritol'ottenimento degli obiettivi che intendeva raggiungere.

– Aver ricevuto il sostegno pubblico offerto dalla legge 488 ha miglioratola performance aziendale delle imprese beneficiarie?

Ancora una volta, la risposta a questo interrogativo è ricercata attraversoil tentativo di identificare la situazione controfattuale.

Metodologia

Come è naturale, la fonte da cui prende le mosse l'indagine è la bancadati del Ministero per la Ricerca, in cui sono presenti le informazionirelative ai progetti di R&S per cui è stata fatta richiesta di finanziamentoattraverso il FSRA, negli anni a cui lo studio vuole riferirsi: il 1999 e il2000. Queste informazioni sono state incrociate con i dati disponibili nellabanca dati Amadeus (Bureau van Dijk) che comprende informazioni dicarattere finanziario su tutte le imprese europee, inclusi i bilanciriclassificati delle imprese italiane con fatturato di almeno 500.000 euro.Sono state così identificate 208 imprese che hanno beneficiato del sussidio.Da questo gruppo, a causa dell'incompletezza dei dati relativi alle impresedi servizi, sono state selezionate solo le attività appartenenti almanifatturiero: si ottiene così un campione di 185 imprese manifatturiereselezionate per ricevere un finanziamento del FSRA tra il 1999 e il 2000.

A questo punto, è necessario identificare un gruppo di controllo. Lo si fautilizzando una procedura di campionamento casuale stratificato, tra leindustrie manifatturiere italiane presenti in Amadeus. La stratificazione ècompiuta per classe dimensionale: la soglia prescelta è quella dei 250dipendenti che distingue le PMI dalle grandi imprese. All'interno diciascuno strato, per ogni impresa trattata vengono estratte cinque unità dicontrollo tra quelle che non hanno ricevuto alcun finanziamento.

I dati di fatturato (disponibili per gli anni 1998-2004) comprendono i datirelativi alla maggior parte degli indicatori di performance scelti perl'analisi:

✗ crescita dell'occupazione (logaritmo del numero di dipendenti)

✗ successo di mercato (logaritmo del fatturato in migliaia di Euro)

✗ produttività del lavoro (logaritmo del valore aggiunto perdipendente, in migliaia di euro per dipendente)

✗ composizione della forza lavoro (logaritmo del costo medio dellavoro, in migliaia di euro per dipendente)

59

Ci si deve rifare alla banca dati Delphion (Thomson), invece, per ricavareinformazioni sul numero di domande di brevetto presentate a uffici dibrevetto nazionali e internazionali (Uspto, Epo, Wipo) tra il 1998 e il 2004da ciascuna impresa del gruppo dei trattati e del gruppo di controllo, così daottenere:

✗ l'effetto dei contributi sulla performance innovativa (numero didomande di brevetto).

Stabiliti gli indicatori di performance e costruito il campione, rimane darisolvere il problema più tipico dell'analisi controfattuale, quellodell'abbinamento delle unità trattate con le unità di controllo. In altritermini, si tratta di affrontare il problema della stima del risultato in assenzadi trattamento Yi(0), per l'impresa i con covariate x che è stata sottoposta al

trattamento. In questo caso è stata prescelta la tecnica del radius matching(cfr. par. 2.1). Nello specifico, per ogni impresa trattata si considera unrisultato non osservabile Yi(0) corrispondente al risultato medio calcolato

tra le imprese di controllo con covariate pre-trattamento più simili. Poichéquesto tipo di matching non è esatto, si è utilizzato un particolare stimatoredi correzione (Abadie, Imbrens) che corregge la differenza tra le unitàabbinate per la differenza nei valori delle rispettive covariate, per mezzo diuna stima consistente del valore atteso condizionale. Il principio seguitoconsente a ciascuna unità di controllo di essere abbinata a più unità trattate.Si considerano, quindi, le unità di controllo che sono vicine (per alcuniindici stabiliti) almeno come l'M-simo match all'unità trattata i.

Il modello risulta, quindi, quello che segue:

dove:

– τ è l'effetto medio del trattamento sul campione dei soggetti trattati (satt, sampleaverage treatment effect on the treated )

– Yi (1) è il risultato dell'impresa i se è sottoposta a trattamento

– Yi (0) è il risultato dell'impresa i se non è sottoposta a trattamento

(indicato come Yi (0) perché media delle unità di matching)

– N1 è il numero delle unità trattate

– bcm sta per bias-corrected matching

60

τM,bcm = 1/N1 + ∑i, Ti=1 {Yi (1) – Yi (0)}

Così rimane da specificare soltanto il set i variabili di matching. Questocomprende diverse caratteristiche aziendali pre-trattamento (1998), chepossono influenzare sia l'assegnazione del finanziamento che le successiveperformance dell'impresa. Si tratta di:

✗ classe dimensionale

✗ età dell'impresa in anni – tiene conto degli effetti di dimensioneed esperienza (capacità manageriali e di ottenere risorse esterne);

✗ intensità di capitale (rapporto tra le immobilizzazioni materiali eil fatturato) come misura dell'accesso al mercato del capitale,delle conoscenze incorporate e dell'aggiornamento tecnologico;

✗ il numero delle domande di brevetto (per le grandi imprese) e,l'intensità di attività immateriali, intesa come immobilizzazioniimmateriali sul fatturato (per le PMI), quale misura di capacitàinnovativa;

✗ flusso di cassa scalato per il fatturato ad indicare i possibilivincoli di liquidità;

✗ localizzazione dell'impresa (Nord-Est, Nord-Ovest, Centro, Sud),a controllo -per la distribuzione disomogenea della R&S privatanel Paese- del più facile accesso ai finanziamenti pubblici daparte delle imprese meridionali;

✗ l'essere una società capogruppo , come indicazione dellacomplessità dell'impresa;

✗ intensità tecnologica del settore di appartenenza, fondata sullaclassificazione Oecd.

Come ultimo elemento, aggiungiamo che gli effetti dell'intervento sullaperformance delle imprese è stato misurato a due (2002) e quattro (2004)anni dall'assegnazione del contributo, così da compiere una stima deglieffetti nel breve e nel medio-lungo periodo.

Risultati

L'analisi compiuta fa emergere effetti molto deboli sul campionecomprensivo di tutte le imprese. Come mostrato nella figura 15, infatti,l'effetto stimato è molto contenuto sull'attività innovativa dei beneficiari delfinanziamento (numero richieste di brevetto) e nullo sugli altri indicatori diperformance, sia nel breve che nel medio-lungo termine.

61

Figura 15. Gli effetti medi del finanziamento FSRA sulle impresedell'intero campione

N.finanziate

N. nonfinanziate Satt

ErroreStandard

Performance delle imprese nel 2002

Occupazione 185 141 0,008 0,061

Vendite 185 144 -0,111 0,070

Produttività del lavoro 183 144 -0,051 0,049

Costo medio del lavoro 183 151 -0,034 0,016

Numero di richieste dibrevetto

185 151 2,141 1,269

Performance delle imprese nel 2004

Occupazione 127 107 -0,008 0,076

Vendite 126 105 -0,027 0,077

Produttività del lavoro 123 106 0,052 0,074

Costo medio del lavoro 126 110 0,053 0,047

Numero di richieste dibrevetto

185 151 0,320 0,290

Fonte: Merito, Giannangeli, Bonaccorsi (2008)

Gli effetti dell'intervento pubblico, però, non appaiono così sconfortanti,se consideriamo la performance delle sole PMI, soprattutto nel medio-lungoperiodo. Emerge, infatti, che il costo medio del lavoro è quasi triplicato nel2004 (figure 16a e 16b). Questo ad indicare l'innescarsi di un processo diupskilling, che potrebbe suggerire l'emergere di effetti positivi nel lungoperiodo. Parimenti, le PMI finanziate sembrano avere una più intensaattività di brevettazione, nel breve periodo.

Figura 16a. Gli effetti medi del finanziamento FSRA sulle PMI

N.finanziate

N. nonfinanziate Satt

ErroreStandard

Performance delle imprese nel 2002

Occupazione 124 93 0,050 0,066

Vendite 124 94 -0,117 0,091

Produttività del lavoro 122 96 -0,047 0,052

Costo medio del lavoro 122 98 0,034 0,010

Numero di richieste dibrevetto

124 91 0,516 0,272

Fonte: Merito, Giannangeli, Bonaccorsi (2008)

62

Figura 16a. Gli effetti medi del finanziamento FSRA sulle PMI

N.finanziate

N. nonfinanziate Satt

ErroreStandard

Performance delle imprese nel 2004

Occupazione 83 70 0,131 0,076

Vendite 82 71 -0,067 0,086

Produttività del lavoro 79 65 0,047 0,120

Costo medio del lavoro 82 69 0,106 0,062

Numero di richieste dibrevetto

124 91 -0,024 0,092

Fonte: Merito, Giannangeli, Bonaccorsi (2008)

4.3 La valutazione dell'impatto degli incentivi pubblici per laR&S: il primo caso tedesco24

Di seguito, è presentato un ulteriore caso di valutazione delle politicheper l'innovazione e la ricerca. L'esperienza, trattandosi di uno dei primi casidi analisi degli effetti delle politiche a sostegno della R&S praticati inGermania, mantiene un certo parallelismo con il caso italiano presentato nelprecedente paragrafo. L'esperienza tedesca, ad ogni modo, ci portaabbastanza indietro nel tempo, ma può essere comunque utile indicarnebrevemente le linee generali e osservare l'uso fatto del gruppo di controllo.

4.3.1 Valutazione del programma di sostegno dei costi del personale diricerca: metodi, obiettivi e risultati

Nel luglio 1978, il governo federale tedesco lanciò un programma dipromozione della R&S per le piccole e medie imprese del settoremanifatturiero. Questo programma consisteva nel conferire, alle imprese,alcune sovvenzioni legate al costo del personale destinato alla ricerca. Ilprogramma entrò in vigore dal 1 gennaio 1979 e, da quel momento, è statogestito, per conto del Ministero Federale dell'Economia, dall'AIF,Arbeitsgemeinschaft Industrieller Forschungsvereinigungen o, piùsemplicemente, Unione delle associazioni di ricerca industriale. Ilprogramma, che si conclude alla fine del 1987, testimonia la presa dicoscienza relativamente all'importanza delle PMI nell'ambito delle politichedi sostegno alla R&S, nella Repubblica federale tedesca alla fine degli anniSettanta.

24 Fonti: Callon M., Larédo P., Mustar P., La gestion stratégique de la recherche et de latechnologie, p 141-159, Paris, Economica, 1995 (pp. 335-348);Meyer-Kramer F., The present status and problems of impact research in technology policy:a case study of the federal programme for funding research and development personnel inGermany, Research Policy 10, 1981;Meyer-Kramer F., Gielow G., Kuntze U., Impacts of governement incentives towordsindustrial innovation. An analysis of the federal programme funding R&D personnelin theFederal Republic of Germany, Research Policy 18, 1989.

63

Il contributo ai salari del personale di ricerca è stato un'incitazionefinanziaria all'attività di R&D e d'innovazione all'interno delle piccole emedie imprese. Si trattava di un aiuto consentito ad un ampio numero diimprese, senza considerare il dominio della ricerca svolta, l'ampiezza deirischi associati al progetto innovativo, né la qualità del lavoro e leprospettive di riuscita economica. L'obiettivo era essenzialmente quello dirafforzare la capacità innovativa delle PMI, accrescendo gli investimenti incapitale umano, grazie alla partecipazione pubblica ai costi sostenuti per isalari del personale.

Il numero di imprese che hanno partecipato al programma è stato piùampio del previsto. Si parla di 4.500 imprese finanziate per 320 milioni dimarchi nel 1979, 6.200 imprese finanziate per 410 milioni di marchi nel1980 e 6.400 imprese finanziate per 440 milioni di marchi nel 1981.

La domanda di valutazione

La valutazione è stata assegnata alla realizzazione dell'ISI (Fraunhofer –Institut für Systemtechnik und Innovationsforschung) nel 1980, sucommissione del Ministero federale dell'economia. L'obiettivo era quello divalutare in che misura le sovvenzioni attribuite attraverso il programma:

✗ fossero state utilizzate dalla imprese

✗ avessero contribuito all'aumento di personale e di attività di R&D

✗ avessero creato condizioni necessarie all'emergere di innovazione diprodotto e di processo

✗ avessero aumentato la produttività e la competitività delle PMIbeneficiarie

✗ fossero state applicate e gestite seguendo modalità efficaci

La valutazione è stata suddivisa in due fasi d'analisi empirica. La prima(1980-1981) si è concentrata sui cambiamenti di breve periodo intervenutinell'ambito delle attività di R&S interne alle PMI. Si fonda sui dati relativialle imprese sussidiate dopo il 1979 ed esamina i cambiamenti osservati finoal 1981, dopo aver determinato la loro situazione prima dell'avvio delprogramma. Gli effetti di medio termine sono analizzati nella seconda fasedi analisi, 1983-1984.

In questo ambito ci dedicheremo alla presentazione di una sola parte dellostudio, concentrandoci su un'unica domanda di valutazione:

– Aver ricevuto il sostegno pubblico ha determinato un aumento delpersonale dedicato alle attività di R&S?

64

Metodologia

Il campione utilizzato per lo studio comprendeva circa 2000 imprese cheavevano partecipato al programma e di cui si disponevano informazioni inmateria di fatturato, settore di appartenenza, numero di ricercatori occupati espesa per il personale, per gli anni compresi tra il 1978 (anno precedenteall'erogazione del contributo) e il 1981.

Il gruppo di controllo è stato identificato a partire dai dati utilizzati perun'indagine sulla R&S nell'industria, effettuato dall'istituto tedesco distatistica. Da questa base, infatti, è stato possibile identificare un gruppo diimprese di dimensioni piccole e medie che non hanno partecipato alprogramma. Le differenze tra i due gruppi di imprese (trattate e non trattate)non sono risultate significative. In particolare sono state prese inconsiderazione le possibili differenze dimensionali e il settore diappartenenza, elementi che possono ricondurre a diversi livelli dellapropensione all'innovazione. Si sono considerati, inoltre, il tipo di mercato edi prodotto relativo alle varie imprese e la similarità delle loro attività diR&S. Date queste loro caratteristiche, le imprese sono risultate comparabili,in altre parole è verosimile attribuire le differenze nei comportamentiinnovativi -e in particolare relativamente al tasso di crescita del personale-all'avvenuta o mancata partecipazione al programma.

Anche in questo caso si è fatto ricorso ad un modello di regressionelineare. Il modello è descritto nei seguenti termini:

dove:

– Ui è il fatturato dell'impresa i,– t è il temporaneamente,– a1 corrisponde a1i + a2iZt con Zt a uguale a 1 per l'intervento

erogato e 0 per l'intervento da erogare (1978),– c1 corrisponde c1i + c2idt con dt uguale a 1 per l'intervento erogato

e 0 per l'intervento da erogare (1978).

Risultati

Molto brevemente, il risultato dello studio mostra che, a partire dalmomento in cui le imprese ricevono gli aiuti pubblici, i loro livelli di attivitàin R&S aumentano in modo abbastanza significativo.

Per quanto riguarda la comparazione dei tassi di crescita dell'attività diricerca tra il gruppo trattato e il gruppo di controllo (figura 16), troviamoche, per i dipendenti a tempo pieno, la tendenza è di crescita nei tre gruppi(trattati, non trattati finanziabili, non trattati non finanziabili).

Il tasso di crescita, però, è circa doppio nelle imprese che hanno ricevuto

65

R&Dit= a1 + b

it +c

iU

it + є

i

il finanziamento pubblico. Per quanto riguarda i dipendenti a tempoparziale, la tendenza generale è opposta. Comunque, mentre le imprese nonaiutate hanno diminuito il loro personale di ricerca a tempo parziale, leimprese sostenute vedono progredire leggermente anche questo valore. Sullabase di questi tassi di crescita possiamo stimare che la presa in carico deicosti per il personale di ricerca da parte pubblica ha avuto effettisull'aumento del personale per R&S che, in assenza di intervento, non sisarebbero verificati.

Complessivamente i ricercatori considerano che circa il 60%dell'ammontare del programma è servito a rinforzare e sviluppare ilpotenziale innovativo, mentre il restante 40% è stato utilizzato per progettidi ricerca che sarebbero stati realizzati anche in assenza di sostegnopubblico. Questo risultato incoraggiante, però, riguarda soltanto la primametà della durata del programma, essenzialmente a causa delle condizionid'aiuto ridotte, introdotte successivamente per motivi di restrizione delbudget.

Figura 16. Gli effetti medi del finanziamento FSRA sulle PMI (Tasso di crescita in % del numero di impiegati per ricerca tra 1980/1981)

Occupazione in R&S Impresetrattate

Imprese non trattate

Eleggibili Non eleggibili

Occupati a tempo pieno +8,0 +4,7 +3,6

Occupati a tempo parziale(min 400 ore di R&D in una anno)

+3,0 -6,2 -3,6

Fonte: Meyer-Kramher (1995)

4.4 L'impatto delle azioni di sostegno all'export nei Paesi in viadi sviluppo25

L'ultimo caso di valutazione sposta l'attenzione su una situazioneradicalmente diversa rispetto alle precedenti, non per gli strumenti di analisiutilizzati, ma piuttosto per il contesto geografico, e conseguentementesocio-economico, a cui si riferisce, e soprattutto per la natura dell'interventovalutato. Si tratta, infatti, di un'azione di sostegno alle esportazioni, inmassima parte perseguita attraverso l'offerta di servizi alle imprese e, solo inalcuni casi, accompagnando questa attività ad un sostegno diretto dicarattere economico. In secondo luogo, il Paese, in cui l'intervento èapplicato, è il Cile. Ci si rivolge, quindi, ad un'economia in cui ilmanifatturiero risulta abbastanza debole, a fronte della presenza diconsistenti esportazioni di materie prime.

L'azione di sostegno sotto osservazione riguarda l'operato di un'agenzia dipromozione dell'export che porta il nome di PROCHILE.

25 Fonte:Volpe Martincus C., Carballo J., Beyond the average effects: the distributionalimpacts of export promotion programs in developing countries, Journal of developmneteconomics (2009). - Inter-American Development Bank, USA-.

66

Fondata nel 1974, l'agenzia promuove l'internazionalizzazione delleimprese cilene, con particolare attenzione alle PMI, e può contare su unastruttura fisica e organizzativa consolidata e articolata: dispone di 13 sediamministrative regionali e di uffici e sedi commerciali in oltre 40 Paesi.

Lo studio presentato di seguito, effettuato dalla Inter-AmericanDevelopment Bank, è stato pubblicato nel febbraio 2009, si riferisce alperiodo di apllicazione 2002-2006 e porta il titolo: Beyond the averageeffects: the distributional impacts of export promotion programs indeveloping countries.

4.4.1 La promozione dell'export nei Paesi in via di svuluppo: metodi,obiettivi e risultati

L'intervento della PROCHILE si fonda sul supporto al processo diinternazionalizzazione delle piccole e medie imprese, in particolareattraverso la sottoscrizione di accordi commerciali internazionali, laformazione di associazioni miste pubblico-privato e attività di marketingall'estero. Nello specifico, l'intervento dell'agenzia direttamente rivolto alleimprese si articola in una chiara lista di azioni:

✗ programmi di formazione rivolti a “esportatori inesperti” in cui sioffrono informazioni relative ai processi di esportazione, ricerche dimercato e organizzazione della logistica, opportunità e regole delsistema finanziario, leggi e regolamenti internazionali, businessplanning;

✗ raccolta e diffusione dei principali dati statistici relativi alcommercio, realizzazione di analisi sui Paesi destinatari e sui lorotrend di mercato, sia standard che customer tailored;

✗ offerta di consulenza e assistenza tecnica, utile per avvalersi diopportunità di business all'estero e per accedere ad alcuni mercatispecifici, in particoalare possibilità di consultazione di risorse onlinecon informazioni dettagliate sui contatti utili, dati sui prodottiesportati, sui Paesi destinatari e le condizioni di certificazione ISO;

✗ coordinamento, e in alcuni casi finanziamento, per la partecipazionea missioni internazionali e fiere,

✗ supporto agli accordi tra imprese esportatrici per favorirnel'internazionalizzazione

Si tratta, quindi, dell'offerta di servizi alle imprese e non, come inveceavveniva nei casi precedenti, di elargizioni più o meno dirette in denarolegate a progetti specifici.

In questo caso l'intervento si fonda sulla volontà di limitare il problemadelle forti asimmetrie informative presenti nel campo del commerciointernazionale, presenti soprattutto quando si tratta di PMI.

67

La domanda di valutazioneCome suggerito dal titolo, lo studio – a differenza di altre analisi

effettuate in precedenza sulle attività di PROCHILE– non mira a stimarel'effetto medio dell'intervento, ma intende valutare quali siano gli effettidistributivi del programma.

Più precisamente ci si chiede:

– Il programma ha effetti eterogenei sulla distribuzione dei risultati?– Che genere di imprese beneficia maggiormente del programma?

In breve, ci si aspetta – e le attese saranno confermate – che le impresepiù piccole e relativamente più inesperte in materia di mercati internazionaliabbiano maggiori limitazioni rispetto al tentativo di diventare attori delloscenario commerciale internazionale. Saranno, quindi, proprio le PMI adessere le principali beneficiarie dell'intervento dell'agenzia PROCHILE.

MetodologiaLe fonti utilizzate nello studio sono due: i dati della Banca Centrale del

Cile e il database PROCHILE. La prima fonte fornisce i dati annuali relativiall'export delle imprese cilene, disaggregati per prodotto e Paese didestinazione e calcolati in dollari americani. La banca dati di PROCHILE,invece, permette di reperire i dati sulle vendite annuali delle compagnieesportatrici, distinguendo tra quattro categorie di imprese: micro-imprese(fino a 60.000 dollari), PyMex (da 60.001 a 7.500.000), medio-grandi (da7.500.001 a 12.500.000) e grandi imprese (da 12.500.001 dollari). Il periodotemporale di riferimento è compreso tra il 2002 e il 2006.

Il campione utilizzato comprende 3.263 imprese esportatrici tra gruppodelle trattate e gruppo di controllo.

Il metodo utilizzato segue il modello del sistema della differenza nelledifferenze. Gli indicatori prescelti per misurare la performancecommerciale delle imprese sono: export totale, il numero dei Paesidestinatari, il numero dei prodotti esportati, le esportazioni medie perprodotto, le esportazioni medie per Paese, le esportazioni media per Paese eprodotto.

Poiché l'interesse dello studio è quello di individuare le caratteristichedelle imprese su cui l'effetto del programma è maggiore, si calcolano deiquantili (figura 17) per effetto del trattamento sulle imprese. Così la stimadegli effetti sarà ottenuta come differenza tra i rispettivi quantili per ilgruppo di imprese trattate e quello di controllo.

Il controllo dell'errore dovuto alla mancata sovrapposizione tra il gruppodi controllo (approssimazione del controfattuale) e quello delle impresetrattate è ottenuto attraverso la minimizzazione delle variabili osservabili e ilcalcolo del propensity score delle imprese, ovvero la probabilità dipartecipare al programma. Il matching tra le unità dei due gruppi è statocompiuto utilizzando la funzione di Kernel (cfr cap.2). Il propensity score èstato ottenuto, tenendo conto di alcuni fattori, quali la dimensionedell'impresa e l'esperienza pregressa sul campo del commerciointernazionale, includendo dati sul totale delle vendite, il totale dell'export, ilnumero di Paesi destinatari e il numero di prodotti esportati.

68

Figura 17. Distribuzione degli indicatori sull'export e vendite totali

INDICATORI DECILI

10 20 30 40 50

Export totale 2.135 5.235 11.669 23.422 50.160

Numero di paesi 1 1 1 1 1

Numero di prodotti 1 1 1 1 2

Export medio per Paese eprodotto

1.015 2.111 3.885 6.815 11.860

Export medio per Paese 1.280 2.922 5.676 10.935 20.529

Export medio per prodotto 2.000 4.470 9.028 16.598 29.860

Vendite totali 1 2 2 2 2

INDICATORI DECILI

60 70 80 90

Export totale 113.202 258.307 694.767 2.601.423

Numero di paesi 2 3 4 8

Numero di prodotti 3 4 6 11

Export medio per Paese eprodotto

20.304 36.392 70.832 184.000

Export medio per Paese 41.080 88.160 219.866 707.095

Export medio per prodotto 54.127 103.333 210.000 555.009

Vendite totali 2 2 3 4 Fonte: Volpe, Carballo (2009)Vendite totali_ 1-4 corrsopondono a 1. (0-60.000$), 2. (60.001 a 7.500.000), 3. (da7.500.001 a 12.500.000), 4.(da 12.500.001 dollari).

Risultati

L'esito dello studio mostra che mediamente l'effetto del programmaPROCHILE, per i sei indicatori di performance prescelti e negli anni 2002-2006, ha avuto un effetto positivo significativo. Per esempio, nel 2006, iltasso di crescita dell'export è stato in media del 6,8% più elevato per leimprese assistite.

Venendo all'interrogativo che ha mosso l'intera ricerca, però, è opportunoverificare come questo effetto sia distribuito tra le imprese assistite,analizzando l'effetto per ciascun quantile precedentemente creato.

Come mostra la figura 18, l'impatto dell'intervento di sostegno èmaggiore in corrispondenza dei decili più bassi e decresce in modomonotonico dal secondo al quarto decile.

Si conferma, quindi, che le imprese più piccole e inesperte in campointernazionale traggono un beneficio proporzionalmente maggiore rispettoalle imprese più grandi.

69

Figura 18. Effetti per quantile sulle imprese assistite

DECILI Export totale Numero di paesi Numero prodotti

10 0,270***(0,042)

0,087*(0,046)

0,000(0,012)

20 0,146***(0,023)

0,037***(0,014)

0,000(0,016)

30 0,051***(0,015)

0,073***(0,010)

0,031*(0,017)

40 0,024**(0,011)

0,000(0,002)

0,000(0,004)

50 0,016(0,010)

0,000(0,002)

0,000(0,004)

60 0,0007(0,011)

0,000(0,002)

0,000(0,004)

70 0,013(0,012)

0,049***(0,012)

0,067***(0,011)

80 0,021(0,017)

0,023*(0,013)

0,118***(0,015)

90 0,067(0,049)

0,182***(0,013)

0,000(0,010)

DECILI Export medio perPaese e prodotto

Export medio perPaese

Export medio perprodotto

10 0,183***(0,013)

0,176***(0,033)

0,224***(0,033)

20 0,115***(0,022)

0,101***0,020)

0,140***(0,021)

30 0,078**(0,017)

0,034**(0,015)

0,106***(0,017)

40 0,066**(0,016)

0,011(0,012)

0,088***(0,014)

50 0,008(0,015)

0,011(0,011)

0,061***(0,013)

60 0,006(0,015)

0,006(0,012)

0,044***(0,014)

70 0,050***(0,017)

0,028**(0,014)

0,025(0,016)

80 0,053***(0,020)

0,035**(0,017

0,005(0,019)

90 0,026(0,031)

0,028(0,027)

0,014(0,028)

Fonte: Volpe, Carballo (2009) - *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}

70

APPENDICE - Tecniche di ricerca per la valutazione

Una volta chiarito cosa intendiamo per valutazione, quali siano le sueradici e quali le sue funzioni e caratteristiche, vale la pena di costruire unapanoramica delle tecniche valutative più utilizzate ed efficaci. Le pagine cheseguono, quindi, mirano a tracciare un rapido quadro degli strumenti utilialla valutazione, ordinandoli secondo alcune caratteristiche.

Nella presentazione che segue si mantiene, in parte, l'impostazione offertanei Sourcebooks14, redatti a guida delle pratiche di valutazione per l'UnioneEuropea, che suddividono le tecniche sulla base delle loro funzioni: otteneredati, analizzare dati, costruire giudizi di valutazione.

Per dovere di sintesi e per facilità di lettura, ciascuna tecnica saràdescritta in una tabella in cui saranno specificati: il nome del metodo, le suecaratteristiche, perché viene utilizzato, in quali condizioni è più funzionale,quali sono i suoi punti di forza e quali quelli di debolezza.

Le schede seguono l'ordine e la suddivisione proposti dai Sourcebooks:

LA RACCOLTA DEI DATI- Social survey- Beneficiary survey- Interviste ad interlocutori privilegiati- Focus group- Priority evaluation- Studio di caso- Approcci partecipativi- Dati di fonte secondaria- Dati di fonte amministrativa- Tecniche di Osservazione

ANALISI DEI DATI- Analisi input/output- Modelli econometrici- Tecniche di regressione- Tecniche sperimentali- Delphi survey- SWOT

COSTRUZIONE DI GIUDIZI DI VALUTAZIONE- Gender impact assessment (GIA)- Analisi costi/benefici- Benchmarking

1. - Analisi Costi/efficacia- Analisi di impatto economico- Analisi multicriteri- Expert panels

14 EVALSED 2007-2013, SOURCEBOOKS,http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/index_en.html

71

LA RACCOLTA DEI DATI

SOCIAL SURVEY

Descrizionedel metodo

Consiste nel proporre una serie di domande, attraverso unquestionario strutturato, ad un campione di individuirappresentativo della popolazione osservata.

Obiettivi Sono utilizzati per raccogliere grandi quantità di datiomogenei da elaborare secondo metodi statistici.

Nel contesto della valutazione sono spesso utilizzati incombinazione con tecniche di raccolta dei dati chepermettono di stimare risultati, impatti ed effetti degliinterventi.

Quando siusa

Mirando a risultati statisticamente significativi, attraverso laconsultazione dell'intera popolazione di riferimento oppuredi un campione rappresentativo, l'uso del metodo è favoritoda alcune circostanze:

✔ la popolazione osservata è ampia e omogenea; ✔ il ricercatore (che deve preparare un questionario a

risposta chiusa) ha un'idea chiara e precisa di ciò chevuole osservare;

✔ il ricercatore vuole testare un'ipotesi o osservare fattioggettivi.

Punti diforza

Se il campione è stato ben selezionato, produce informazionistrutturate, quantificabili e generalizzabili.

Permette di raggiungere un'ampia popolazione a costirelativamente bassi.

Punti didebolezza

Lo studio deve essere praticato su una popolazione ampia eidentificabile, altrimenti si perde la significatività statisticadei dati e la loro generalizzabilità.

La necessità di standardizzare le risposte implica una fortesemplificazione.

Le risposte date potrebbero non corrispondere alla realtàperché mal formulate, non ben comprese dagli intervistati odistorte dalla volontà di apparire più corretti e informati diquanto corrisponde a verità.

72

BENEFICIARY SURVEY(indagine sui beneficiari)

Descrizionedel metodo

Si tratta di un survey che ha come popolazione di riferimentoi soli beneficiari – o presunti tali - dell'intervento, che sianoindividui, organizzazioni o comunità. Non necessariamentesi tratta di beneficiari diretti dell'intervento.

Il questionario può essere rivolto all'intero gruppo dibeneficiari o ad un campione rappresentativo di questapopolazione.

Obiettivi Nel contesto della valutazione, questo tipo di indagine èutilizzata soprattutto per raccogliere dati sull'opinione deibeneficiari di un intervento.

A differenza di altri metodi di osservazione (lo studio di casoo l'osservazione etnografica) questo tipo di indagine producerisultati generalizzabili all'interno del gruppo di riferimento.

Quando siusa

L'indagine sui beneficiari è adatta all'osservazione di casi incui si ha una popolazione target sufficientemente ampia edomogenea e l'intervento da valutare è sufficientementesemplice. Potrebbe, infatti risultare costosa e pocosignificativa laddove l'intervento applicato è moltocomplesso o focalizzato su più temi e le categorie dibeneficiari superano la decina.È auspicabile la possibilità che ogni singolo campione possaessere intervistato in due o più fasi temporali successive cosìda ottenere un'analisi longitudinale dei dati, permettendo dimonitorare gli effetti nel tempo e di verificare la sostenibilitàdell'intervento.Le generalità dei beneficiari devono essere disponibili ecatalogate.

Punti diforza

Se il campione è stato ben selezionato, produce informazionistrutturate, quantificabili e generalizzabili.Permette di raggiungere un'ampia popolazione a costirelativamente bassi.

Punti didebolezza

Lo studio deve essere praticato su una popolazione ampia eidentificabile, altrimenti si perde la significatività statisticadei dati e la loro generalizzabilità.

La necessità di standardizzare le risposte implica una fortesemplificazione.

Le risposte date potrebbero non corrispondere alla realtàperché mal formulate, non ben comprese dagli intervistati odistorte dalla volontà di apparire più corretti e informati diquanto corrisponde a verità.

73

INTERVISTE AD INTERLOCUTORI PRIVILEGIATI

Descrizionedel metodo

Consiste in interviste in profondità rivolte a personecoinvolte a vario titolo in un programma o progetto, eproposte da personale qualificato.

L'intervista permette di acquisire informazioni a caratterequalitativo e opinioni personali relative ai contenuti,l'implementazione, i risultati o l'impatto di un determinatoprogramma. Le tecniche utilizzate sono varie: intervistestrutturate o, più spesso, semi-strutturate, la conversazioneguidata o informale.

Obiettivi ✔ Fornire feedback relativamente a qualunque aspettodi un programma, esaminando il punto di vista degliattori coinvolti.

✔ Fornire informazioni su come un programma è statocondotto nel tempo, esaminando comportamenti,pratiche individuali, contesti, cambiamenti avvenutiecc...

✔ Individuare interessi individuali contrapposti.✔ Individuare divergenze di vedute.✔ Ricostruire il sistema di valori in cui si riconosce una

comunità.✔ Sostenere altri strumenti di ricerca.

Quando siusa

L'intervista in profondità può essere utilizzata in tutte lecondizioni e a maggior ragione se si ha sufficientedisponibilità di tempo e risorse finanziarie o progetti limitatiper essere sottoposti a indagine statistica.

Punti diforza

✔ Dà una visione chiara di temi complessi.✔ L'intervistato non è influenzato dal contesto (focus

group).✔ Si ottengono informazioni su valori, fatti e

comportamenti dell'intervistato, meccanismi diimplementazione e relazioni di causalità tra ilprogramma e i suoi effetti.

✔ Si tratta di uno strumento duttile e ampiamenteadattabile al contesto.

✔ Si può rivolgere alle popolazioni scarsamente istruite.

Punti didebolezza

✔ Le dimensioni del campione sono troppo piccole perapplicare il metodo della selezione casuale e i risultatinon sono quindi generalizzabili.

✔ Se non condotte da esperti e con metodi professionalile interviste non producono dati significativi.

✔ I risultati dipendono fortemente dalla cooperazionedell'intervistato.

✔ Informazioni confidenziali non sono divulgabili.

74

FOCUS GROUP

Descrizionedel metodo

Inizialmente utilizzato per le ricerche di mercato, il focusgroup prende la forma di una discussione strutturata cheevolve nella condivisione e nel progressivo affinamento delleposizioni prese. Il format più consolidato prevede una duratadi 1-2 ore e la presenza di 6-8 persone. Il gruppo è guidato daun valutatore che propone i temi di interesse secondo unoschema strutturato e prestabilito.

Obiettivi ✔ Raccogliere una grande quantità di dati in un tempolimitato.

✔ Condividere e comparare esperienze e punti di vistadi diversi partecipanti per generare una nuova visionee comprensione

✔ Aprire la discussione ad un ampio raggio di possibilirisposte e posizioni, sviluppando il doscorso indirezioni anche inattese.

✔ Validare o completare i risultati dell'elaborazione didati quantitativi.

Quando siusa

Si tratta di una fonte primaria di dati qualitativi,comunemente utilizzata in combinazione con altri metodi diricerca qualitativa. È particolarmente utile nei casi in cui:

✔ i temi della valutazione siano alla base di opinionidivergenti che la discussione può sciogliere,conducendo ad una visione,

✔ sia utile evidenziare visioni divergenti, problemi,bisogni, preferenze

✔ sia utile una pratica esplorativa.

Punti diforza

✔ Produce informazioni, in profondità, circa i valori, lepercezioni e le opinioni del gruppo selezionato.

✔ La presenza di più persone garantisce una sorta dicontrollo di qualità sui dati raccolti, poiché èpossibile giudicare pro e contro degli argomenti diciascuno, evitando le posizioni estreme.

✔ In poco tempo si possono raccogliere grandi quantitàdi dati qualitativi.

Punti didebolezza

✔ Professionalità specifiche sono necessarie per evitareche il gruppo risponda a dinamiche interne,appiattendosi su una posizione dominante.

✔ Il giudizio dei beneficiari di una politica tende adessere positivo.

✔ Il comportamento delle persone cambia quandoqueste sono consapevoli di essere osservate(Hawthorne effect).

75

PRIORITY EVALUATION

Descrizionedel metodo

È basato sulla simulazione di un sistema di mercato egeneralmente fa uso di questionari per raccogliereinformazioni. Agli intervistati sono dati un budget ipotetico eun set di voci da acquistare, ciascuna ad un prezzo ipotetico.I valori assegnati a ciascuna voce, quindi, derivano dallepreferenze accordate dagli intervistati.

Obiettivi ✔ Identificare priorità in situazioni di interessicontrastanti o di scelte che implicano un trade-off.

✔ Raccogliere informazioni sulle preferenze di unacerta popolazione o giudizi di valore.

Quando siusa

Il metodo è stato lanciato negli anni Settanta da Hoinville eBerthoud, che lo hanno utilizzato per valutare le condizionidella viabilità, inquinamento, traffico e sicurezza sulle stradedi Londra.

Il metodo è utilizzato più comunemente in relazione aglistudi di valutazione sull'ambiente che, per sua natura, non èsoggetto alle regole di mercato.

Punti diforza

Fornisce una base scientifica e una scala comparabile allavalutazione di aspetti della realtà corrente.

Punti didebolezza

✔ Le principali difficoltà si riscontranonell'applicazione di questo metodo: per gli intervistaticompiere scelte stringenti, identificando valori perdiversi ventagli di scelte può risultare problematico.

✔ Essendo basato sull'uso di questionari, il metodo èsoggetto ai costi e agli errori (di campionamento e dicostruzione del disegno di ricerca) tipici delletecniche statistiche.

✔ Le scelte richieste agli intervistati non fannoriferimento ad un mercato reale, quindi non esistonoincentivi reali a compiere scelte che riflettonovalutazioni effettivamente realistiche. In particolare,gli intervistati possono non essere correttamenteinformati (né incentivati ad informarsi) e non avereesperienza sufficiente per compiere le scelte loroproposte.

76

STUDIO DI CASO

Descrizionedel metodo

Consiste nello studio in profondità di un fenomeno nel suocontesto naturale, osservandolo da più prospettive. Si avvaledi diversi metodi di raccolta dei dati, sia qualitativi chequantitativi. Gli studi di caso possono essere singoli omultipli e fanno particolare attenzione al contesto eall'ambiente di riferimento.

Obiettivi ✔ Rappresentazione: può essere utilizzato per conferirerealismo ad una valutazione, presentandola in formanarrativa.

✔ Esplorazione: ponendo ipotesi per il futuro eidentificando i vari punti di vista degli stakeholder.

✔ Analisi critica: verificando e validando una posizionerelativa ad un programma, un progetto, una strategia.

✔ Analisi dell'implementazione: esaminando ladiffusione e il funzionamento di servizi in luoghidiversi, con particolare attenzione alla natura deiprocessi che producono un certo impatto.

Quando siusa

Largamente utilizzato nell'ultimo decennio, è un metodo dianalisi applicato in situazioni complesse, ovvero nei casi incui si vogliano comprende in profondità comportamenti efenomeni sociali, in particolare:

✔ non per identificare legami di causalità, ma perrilevare che probabilmente esistono,

✔ per dare una quanto più approfondita descrizionedella situazione e del contesto,

✔ descrivere in profondità un caso particolarmentesignificativo (casi di successo/insuccesso...),

✔ comparare più casi specifici (soprattutto nell'UE)

Punti diforza

✔ Elevato grado di approfondimento della ricerca✔ Elevate potenzialità esplorative e di apprendimento

Punti didebolezza

✔ Essendo strettamente legato al contesto specifico, lostudio di caso è difficilmente generalizzabile. Ilvalutatore può al massimo estrapolare similarità conaltri casi e avanzare modeste speculazioni.

✔ Costi elevati.✔ Predisposizione all'errore: incompletezza, arbitrarietà,

cattiva selezione delle informazioni, trascuratezza neicommenti, distorsione dei risultati.

77

APPROCCI E METODI PARTECIPATIVI

Descrizionedel metodo

Si tratta di un gruppo di tecniche che si fondanosull'importanza di assumere il punto di vista delle comunitàlocali. Sviluppate inizialmente nell'ambito delle attività diricerca nei Paesi poveri, si sono progressivamente diffuse neiPaesi industrializzati soprattutto nell'ambito della valutazioneambientale, in ambito socio-sanitario e per le politiche diriqualificazione urbana. I concetti di fondo che accomunanoquesti metodi sono: la partecipazione, la negoziazione,l'apprendimento e la flessibilità.

Le pratiche più utilizzate si rifanno a quattro gruppimetodologici che prestano particolare attenzione a:

✔ le dinamiche di gruppo✔ il campionamento (curando di far emergere anche le

posizioni più marginali)✔ le interviste e il dialogo (servendosi di strumenti che

riducano la distanza tra valutatori e intervistati: tavolerotonde, mappe di comunità, giurie cittadine...)

✔ visualizzazione e diagrammi (si tratta di pratiche dianimazione territoriale che fanno uso delle categoriesimboliche proprie della comunità locale).

Obiettivi Possiamo distinguere tra due diversi livelli di obiettivi:✔ animazione territoriale (costruzione di fiducia,

assunzione dei punti di vista delle comunità locali edelle diverse categorie di beneficiari...),

✔ tecniche di valutazione (aumento dell'autenticità dellavalutazione, ampliamento dei criteri di valutazione,approfondimento dell'analisi).

Quando siusa

Utile in tutti gli stadi della valutazione, è applicataprincipalmente in alcuni settori come quello dell'agricolturasostenibile, del trasporto urbano, educazione e formazione,salute e sviluppo urbano. In altre parole, tutti i settori in cuil'apporto di punti di vista “dal basso” costituiscono unfondamentale valore aggiunto per la valutazione.

Punti diforza

✔ Promozione di un apprendimento condiviso, orientatoa sviluppi futuri della pianificazione e organizzazioneterritoriale.

✔ Ricognizione di diversi punti di vista.✔ Sostegno alla partecipazione e informazione dei

cittadini.

Punti didebolezza

✔ Ambiguità.✔ Difficoltà di applicare il metodo su grande scala.✔ Creazione di conflittualità✔ Necessità di grandi risorse umane, finanziarie e di

tempo.

78

DATI DI FONTE SECONDARIA

Descrizionedel metodo

Si parla di dati di fonte secondaria per indicare tutti quei datinon raccolti direttamente per la valutazione in corso, maprecedentemente e per altri fini. Il valutatore, quindi, non èdirettamente responsabile della raccolta di questi dati.

Obiettivi Le origini delle fonti sono essenzialmente tre e a ciascunacorrispondono obiettivi di ricerca diversi:

✔ documenti di gestione del programma(costituiscono la “materia prima” su cui lavorare,danno informazioni su attività, spesa, output,beneficiari...)

✔ fonti statistiche( forniscono informazioni sul contesto, i bisogni divalutazione, l'impatto apparente e la rilevanza degliobiettivi)

✔ ricerche e valutazioni fatte in passato(suggeriscono indicatori rilevanti, possono essereutilizzati in modo comparativo e possono permetteredi identificare punti di forza e di debolezza dellediverse metodologie).

Quando siusa

Le fonti secondarie devono sempre essere consultate, sia perapprofondire le conoscenze di contesto e sfruttare elementiutili, sia per non replicare inutilmente sforzi già fatti inprecedenza.

Punti diforza

✔ I dati di fonte secondaria sono disponibili in tempirelativamente rapidi.

✔ Hanno costi di raccolta molto bassi.

Punti didebolezza

✔ Sono raccolti per fini diversi da quelli dellavalutazione, per cui non sono necessariamenteadattabili al nuovo contesto (per scala territoriale,modalità di campionamento...)

✔ Non è sempre facile identificare quali siano le fontipiù appropriate e attendibili.

79

DATI DI FONTE AMMINISTRATIVA

Descrizionedel metodo

Si tratta di informazioni che vengono raccolte durantel'implementazione del programma. La disponibilità e laqualità dei dati amministrativi dipende fortemente dallecaratteristiche del programma e dai meccanismi diimplementazione. Questi dati dovrebbero essere raccolti allivello centrale e catalogati in formati di sempliceinterpretazione. La frammentazione dei livelli diresponsabilità e la natura varia dei dati, però, talvoltarendono difficile reperire queste informazioni.

Obiettivi ✔ Individuare alcuni fattori chiave (tipo di intervento,numero di applicazioni...)

Possiamo distinguere tra:

✔ i dati raccolti dagli operatori del programmaattraverso il sistema di monitoraggio (output prodotti,outcome, avanzamento delle procedure...)

✔ dati raccolti da attori chiave (caratteristiche e profilodel gruppo target...)

Quando siusa

Dati di questo genere possono essere utilizzati, una voltachiarite le domande di valutazione, ogniqualvolta sianodisponibili.

Punti diforza

✔ Offrono informazioni dettagliate soprattutto sullaspesa e sui beneficiari.

✔ In genere sono facilmente accessibili.

Punti didebolezza

✔ Come le altre fonti non sono necessariamenteadattabili al nuovo contesto.

✔ Nell'ambito della valutazione dei Fondi Strutturali laframmentazione dei livelli di responsabilità e lacoesistenza di sistemi amministrativi diversi puòcostituire una difficoltà

80

TECNICHE DI OSSERVAZIONE

Descrizionedel metodo

Le tecniche di osservazione consentono di indagare ilfenomeno nel suo contesto naturale. In particolare, si parla diosservazione partecipante quando si entra a far parte delcontesto che vuole studiare, assumendo un punto di vistainterno a quel contesto e a quell'organizzazione.

Tecniche basate sullo stesso principio sono il metodoetnografico e l'analisi della conversazione.

Obiettivi Le tecniche di osservazione possono essere utilizzate perraccogliere informazioni in profondità in alcune situazionispecifiche, durante l'implementazione di un intervento. Ilmetodo fornisce informazioni ricche e dettagliate sugli effettidi un intervento, sull'influenza del contesto e sui punti divista degli attori-chiave.

Quando siusa

Utilizzata soprattutto per comprendere il funzionamentodelle politiche sanitarie, educative, di trasporto e dicombattimento contro la criminalità, si tratta di tecniche chenon trovano frequente applicazione.

Si utilizzano per:

✔ osservare comportamenti spontanei✔ studiare contesti a cui si ha difficile accesso ✔ osservare situazioni in cui c'è una forte discrepanza

tra il punto di vista degli osservatori esterni e interni.

Punti diforza

✔ Genera grandi quantità di dati✔ Può permettere di studiare contesti difficilmente

accessibili.✔ Permette di raccogliere il punto di vista degli attori

chiave.

Punti didebolezza

✔ Richiede grande disponibilità di tempo (in particolareper la registrazione ed elaborazione dei dati ottenuti)

✔ Si limita ad un piccolo numero di contesti studiati

81

ANALISI DEI DATI

ANALISI INPUT/OUTPUT

Descrizionedel metodo

L'analisi input/output è un metodo utilizzato per descriverel'attività economica in un dato periodo e per prevedere lareazione di un'economia regionale ad uno stimolo,dall'aumento dei consumi ai cambiamenti delle politichepubbliche.

L'analisi input/output utilizza delle matrici per descrivere ilmodo in cui il sistema produttivo soddisfa la domanda finale(consumi, investimenti, export) e rappresenta il legame trarisorse e consumi di un'economia. La matrice può esseresemplice (relativa a tre settori: industria, agricoltura, servizi)o complessa (oltre 500 settori). Permettendo una cosìdettagliata suddivisione della struttura produttiva, l'analisiinput/output è utile per la valutazione dell'impatto settorialedegli interventi.

Obiettivi L'analisi input/output è utile qualora si voglia compiere unasimulazione, un'analisi di scenario o previsionale. Esistononumerose applicazioni delle matrici input/output allavalutazione dei programmi di sviluppo economico, inparticolare si tratta di stime di impatto differenziate persettore o branca produttiva.

Quando siusa

Generalmente si utilizza per studi di scala nazionale, poiché idati necessari alla costruzione della matrice sono raccolti aquesto livello. Esistono matrici compilate per analisi sueconomie regionali ma il loro valore statistico è limitato acausa della difficoltà di seguire il movimento di beni nonsoggetti al pagamento di tasse doganali.

Punti diforza

✔ Risulta particolarmente utile per studi sullavalutazione delle politiche di sostegno al commercioestero.

Punti didebolezza

✔ La stima degli effetti è limitata al lato della domandae trascura l'offerta. Sfuggono a questo metodo dianalisi elementi fondamentali per l'incremento dellacapacità produttiva: formazione del capitale umano,diffusione di nuove tecnologie...

✔ Tende a sovrastimare l'impatto dei Fondi Strutturalisul lato della domanda.

82

MODELLI ECONOMETRICI

Descrizionedel metodo

Si tratta di un gruppo di strumenti che simulano, attraversomodelli matematici, i meccanismi di funzionamentodell'economia reale.

Spesso si tratta di modelli esistenti che vengono applicati alcampo della valutazione.

Obiettivi Gli obiettivi sono quelli di:

✔ capire - il modello esplica la relazione tra variabili,quindi aiuta a capire il meccanismo coinvolto neltradursi in effetto dell'applicazione di un certointervento;

✔ prevedere - anticipare gli effetti dell'applicazione diun intervento nell'ambito della valutazione ex ante;

✔ costruire scenari - costruire situazioni alternativeattraverso assunzioni diverse (es. con o senzaintervento).

Quando siusa

Esempi di valutazione basata sull'utilizzazione di modellieconometrici provengono dalla valutazione delle politichefinanziate dai Fondi Strutturali. Ne sono esempio QUEST II(utilizzato per simulare e analizzare i cambiamenti dellepolitiche finanziarie dipendenti dall'ampliamento dell'UE, inparticolare valutando l'impatto dell'applicazione dei criteri diMaastricht) E3ME (utilizzato per costruire un quadroprevisionale relativo alle politiche energetiche e ambientali,tenendo conto dell'impatto economico) e REMI (costruitoper valutare l'impatto dei Fondi Strutturali nel Sud Italia).

Punti diforza

✔ Metodi statistici possono essere utilizzati perverificare la credibilità dei modelli.

✔ I modelli sono solitamente dinamici, possono quinditracciare cambiamenti annuali negli effetti dellepolitiche.

Punti didebolezza

✔ Sono necessarie grandi quantità di dati di ottimaqualità.

✔ Riflettono il punto di vista e l'impianto ideologico dichi li ha costruiti.

83

ANALISI DI REGRESSIONE

Descrizionedel metodo

L'analisi di regressione è una tecnica statistica che identificala relazione tra due o più variabili quantitative: una variabiledipendente (il valore da prevedere) e una o più variabiliindipendenti. La tecnica è utilizzata per individuarel'equazione che rappresenta la relazione tra queste variabili.Il modello più semplice è quello della regressione lineare:Y=a+bX (con a e b costanti).

Obiettivi Dimostrare in che proporzione il mutare di un fattore(variabile) è dovuto al comportamento della variabileindipendente.

Quando siusa

Si utilizza quando si vogliono stimare o valutare gli effetti diun intervento. In particolare l'effetto netto del programmapuò essere individuato attribuendo parte dei cambiamentiosservati alle variabili indipendenti e il resto al programma.

Punti diforza

✔ Se ben compiuta, produce una stima quantitativadell'effetto netto.

Punti didebolezza

✔ Richiede la raccolta di dati su migliaia di individui (sirichiedono tra 2.000 e 15.000 osservazioni, possonodiminuire di molto se presi per serie temporali).

✔ La raccolta di dati può richiedere risorse finanziarie ein termini di tempo elevate.

✔ Possono essere trascurate completamente alcunevariabili importanti (data snooping).

✔ Non può essere utilizzata quando la relazione travariabili è circolare.

84

METODO DELPHI

Descrizionedel metodo

Raccoglie e sintetizza dati, proponendo un questionariostrutturato e anonimo ad un gruppo di interlocutoriprivilegiati e attraverso un feedbak ripetuto sulle opinioniespresse. Prevede, quindi, l'invio di questionari ad un gruppodi esperti selezionati precedentemente, per individuaregiudizi individuali su materie specifiche. Nelle fasisuccessive, si chiede a ciascun esperto di esprimerenuovamente un giudizio anonimo sull'elaborazione delmateriale ottenuto a seguito dello step precedente. Una variante del metodo Delphi è la NGT (Nominal GroupTechnique). In particolare la NGT rende comparabili i giudiziespressi dagli esperti ponendoli in una scala e assegnandoloro dei valori numerici.

Obiettivi Il metodo Delphi è utilizzato principalmente per facilitare laformazione di un giudizio di gruppo, evitando gli erroridovuti al condizionamento causato dalla compresenza di piùsoggetti, come può avvenire nei focus group. Si utilizzaampiamente in funzione previsionale, in particolare inambito formativo, sanitario e delle nuove tecnologie. Siutilizza per chiarire l'evoluzione di alcune situazioni,identificare priorità, e delineare scenari.

Quando siusa

✔ quando il programma da valutare è semplice (pochiobiettivi di natura tecnica) oppure si vuole stimarel'entità di un singolo intervento pubblico (es. aumentodelle tasse sul prezzo dell'energia);

✔ nella valutazione ex ante, per interventi di naturatecnica;

✔ per quantificare l'impatto di grandi interventiinfrastrutturali o complessi (es. tassazione, politicheenergetiche...).

Punti diforza

✔ Scarsa riproducibilità;✔ Possibile ambiguità dei quesiti e diversa reattività

degli intervistati;✔ Tendenza alla semplificazione (chi risponde tende a

pensare in termini lineari e consequenziali, piuttostoche in modo olistico).

Punti didebolezza

✔ Evita le distorsioni dovute al condizionamento delgruppo.

✔ Può essere molto utile in funzione esplorativa e perscomporre fenomeni in alcune specifiche dimensioni.

✔ In caso di fenomeni molto complessi è utile aintegrazione e supporto di altri metodi.

85

SWOT

Descrizionedel metodo

Inizialmente sviluppata per aiutare le imprese a definire leproprie strategie all'interno di contesti competitivi, l'analisiSWOT è stata applicata in ambito pubblico a partire daglianni Ottanta. Adesso è frequentemente utilizzata comecomponente del planning e della valutazione ex ante neiprogrammi di sviluppo regionale.

Obiettivi Gli obiettivi, che si perseguono attraverso la costruzione diuna semplice matrice, consistono nell'identificare i fattori diforza (Strengths), debolezza (Weaknesses), opportunità(Opportunities) e minacce (Threats) nel programma e nelcontesto in cui viene applicato, così da ridurre il grado diincertezza presente circa l'applicazione di un intervento.

Quando siusa

✔ Per incrementare l'integrazione di un programma conil contesto a cui sarà applicato, in fase di planning evalutazione ex ante;

✔ Per valutare la rilevanza di una strategia in fase diimplementazione.

Punti diforza

✔ Utile, particolarmente in fase di valutazione di mediotermine, per fornire indicazioni circa gli obiettiviintermedi di un programma.

Punti didebolezza

✔ Si presta ad accogliere interpretazioni soggettive osemplicistiche del contesto.

86

COSTRUIRE GIUDIZI DI VALUTAZIONE

GENDER IMPACT ASSESSMENT (GIA)

Descrizionedel metodo

La GIA è utile per stimare i diversi effetti (positivi, negativio neutrali) che una politica pubblica può avere in termini diimpatto di genere.

Obiettivi ✔ Identificare strategie di intervento per incrementarel'uguaglianza di genere.

✔ Verificare la qualità di un prgramma intermini di pariopportunità.

✔ Verificare che la politica valutata rispetti ifondamentali principi sull'uguaglianza di genere.

Quando siusa

Si utilizza sia in fase di valutazione ex post che, specialmenteper quanto riguarda le politiche UE in fase ex ante,ma sullasingola misura o a livello nazionale sul ProgrammaOperativo.

Punti diforza

✔ Trattandosi di un tipo di analisi generalmentepraticata ex ante, ha un ruolo importante perriorientare e rivedere progetti di politiche, in terminidi pari opportunità

Punti didebolezza

✔ La multidimensionalità del processo di valutazioneimpone l'uso di più criteri di valutazione;

✔ La complessità di questo tipo di analisi impone l'usodi diversi modelli valutativi e vari riferimentiincrociati necessari a comparare osservazioni, misuree indicatori diversi;

✔ Non sempre esistono dati disaggregati per genere.

87

ANALISI COSTI-BENEFICI (CBA)

Descrizionedel metodo

Fondata sul criterio di efficienza, stima i costi complessividell'attuazione di un programma e li sottrae ai beneficicomplessivi generati. In altre parole, mira a individuare ilmassimo beneficio netto per la società, utilizzando semprel'unità di analisi monetaria.L'analisi costi-benefici prevede alcuni passaggi essenziali:

✔ definizione dell'ambito di analisi (in termini spaziali etemporali) e dei costi e benefici connessi;

✔ isolamento e quantificazione di costi e benefici e calcolodel rischio;

✔ standardizzazione monetaria e calcolo del beneficionetto (laddove non è possibile riferirsi ai prezzi dimercato, la standardizzazione avviene attraverso ilcriterio DAP, Disponibilità A Pagare);

✔ ponderazione del beneficio netto al tasso di scontointertemporale.

Obiettivi ✔ Verificare la fattibilità economica di un investimento

Quando siusa

Generalmente si utilizza in fase di valutazione ex ante percompiere una selezione tra diversi progetti di investimento.In particolare si utilizza laddove è più facile monetizzareeffetti non di mercato, per esempio nel caso di grandiprogetti infrastutturali.

Punti diforza

✔ Permette di esprimere un parere sull'utilità socio-economica di un progetto

✔ permette di creare graduatorie tra progetti✔ permette di identificare chiaramente costi e benefici

anche quando questi non sono immediatamentemonetizzabili

Punti didebolezza

✔ Non prende in considerazione gli effetti redistributivi✔ non prende in considerazione effetti non

monetizzabili✔ quando non esiste un mercato utilizza criteri

fortemente discrezionali per associarli ad un valoremonetario

88

ANALISI COSTI-EFFICACIA (CEA)

Descrizionedel metodo

Laddove la monetizzazione appare una forzatura eccessiva èpossibile non tradurre le voci “benefici” in termini monetarie salvarne la comparabilità con i costi attraverso alcuni indicicosto-efficacia, quali il risultato per unità di costo, chepermette di quantificare il beneficio per unità di euro spesi esu questa base ordinare i progetti da valutare. Un'operazioneanaloga è possibile calcolando il reciproco, costo per unità dirisultato.

Obiettivi ✔ Verificare l'efficacia dell'azione pubblica rispettoall'impiego dei fondi utilizzati

Quando siusa

Può essere utilizzato nell'ambito della valutazione ex ante,per scegliere tra programmi alternativi, oppure in fase dianalisi ex post, qualora gli effetti attesi siano ben definiti emisurabili.

Punti diforza

✔ Permette la comparazione di più programmi

Punti didebolezza

✔ Questo genere di analisi è adatta a verificare glieffetti diretti di un programma, ma può addentrarsinella valutazione di obiettivi generali e di lungotermine

✔ Permette di comparare programmi di facileimplementazione e con lo stesso tipo di impatto

✔ Necessità della disponibilità di dati precisi,generalmente raccolti in fase di monitoraggio

89

BENCHMARKING

Descrizionedel metodo

Inizialmente adottato nel settore privato, si è ampiamentediffuso nell'ambito della pubblica amministrazione, inparticolare nel settore dei servizi. Il metodo pone la bestpractice come modello di confronto tra più organizzazioni.

Obiettivi L'obiettivo è quello di promuovere l'apprendimentoattraverso il confronto tra più organizzazioni. Il confrontopuò essere interno (tra diversi settori della stessaorganizzazione) o esterno (tra più enti simili).

Punti diforza

✔ Si tratta di una pratica utile e flessibile basata sulconfronto, che può far emergere elementi di forza,debolezza e promuovere miglioramenti organizzativi.

✔ Può migliorare la misurazione delle performance.✔ Favorisce l'interazione e la cooperazione tra diverse

organizzazioni.✔ Favorisce la costruzione di reti di fiducia, stimola la

riflessione, e la costruzione di relazioni di mutuobeneficio, nel lungo termine.

Punti didebolezza

✔ La condivisione di informazioni strategiche puòcostituire un rischio.

✔ Può incoraggiare l'imitazione e la stagnazione sulivelli standard, limitando l'innovazione.

✔ I modelli di successo possono essere legati ad undeterminato contesto e quindi non sono replicabiliovunque.

✔ L'identificazione di partner per operare il confrontopuò risultare un'operazione difficile.

✔ Richiede che si utilizzi un approccio fortementepartecipativo, pena la pratica di un eserciziosuperficiale e dall'impatto limitato.

90

ANALISI DI IMPATTO ECONOMICO

Descrizionedel metodo

Si tratta di un ulteriore strumento per valutare ilcambiamento complessivo imputabile ad un programma,attraverso stime di tipo quantitativo. Comprende:

✔ la considerazione dei vari interessi in gioco (occupati,datori di lavoro, consumatori, produttori....)

✔ elementi di cambiamento nel tempo e di insicurezza(comparazione di scenari)

✔ importanza e intensità delle attività economiche(ricadute sull'occupazione, sul PIL...)

✔ comparazione tra diversi tipi di effetti (diretti eindiretti)

Obiettivi L'obiettivo è quello di valutare l'impatto di un determinatointervento (o programma) sullo sviluppo economico. Puòessere utile, a livello settoriale, per comprendere aree dicriticità e definire un'azione pubblica specifica, e a livelloeconomico, nel definire il contributo allo sviluppo, di uncerto intervento.

Quando siusa

Può essere utilizzata a tutti gli stadi del processo divalutazione: prima dell'approvazione dell'intervento, durantee dopo la sua implementazione.

Punti diforza

✔ Permette di valutare l'impatto economico di unintervento con il rigore dell'analisi quantitativa.

Punti didebolezza

✔ In alcuni contesti (e in particolare nell'ambito dellavalutazione dei Fondi Strutturali) l'impatto sociale,economico e ambientale di un intervento risultanofortemente interrelati. La valutazione dell'azionepubblica, quindi, deve considerare questi vari tipi diimpatto combinandoli in un'ottica integrata. Valutareun intervento utilizzando criteri puramente economicipuò comportare la perdita di conoscenza relativa a adeffetti rilevanti per la società.

91

ANALISI MULTICRITERI

Descrizionedel metodo

Si tratta dell'estrazione di un giudizio super partes attraversol'analisi di più giudizi soggettivi. Prevede alcuni passaggiessenziali:

✔ definizione dell'ambito di analisi (in termini diprogrammi da giudicare)

✔ isolamento e definizione dei criteri di giudizio✔ stima degli impatti sui singoli programmi (attraverso

la costruzione di una matrice, le cui voci dovrannoessere rese comparabili)

✔ formulazione di giudizi relativi agli effetti delprogramma sulla base dei criteri prescelti

✔ aggregazione in un giudizio unico.

Obiettivi L'obiettivo è quello di strutturare e combinare diversi giudizidi valore. Si prendono, quindi, in considerazione le ragioni ele convinzioni di più stakeholder al fine di analizzaresituazioni conflittuali o di formulare raccomandazioni.

Quando siusa

Applicata più frequentemente in fase di analisi ex ante, èutile alla formulazione di analisi di problemi complessi ed èparticolarmente adatta a rispondere ad esigenze riconducibiliad alcune situazioni specifiche, per esempio:

✔ avanzare raccomandazioni sulla riallocazione dialcuni fondi.

✔ selezionare e diffondere informazioni relative a bestpractices.

✔ Fornire un feedback su un metodo di selezione.

Punti diforza

✔ Permette di avere una visione d'insieme relativamentea realtà complesse.

✔ Prende in considerazione, con un approccioquantitativo, valori e opinioni individuali di più attorie meccanismi relazionali all'interno di reti complesse

Punti didebolezza

✔ Generalmente si sopraggiunge a conclusioniconsensuali, poiché pesi diversi vengono assegnatialla stessa matrice di punteggio.

✔ Non è sempre utilizzata in modo interattivo e questone limita l'efficacia.

✔ Deve essere praticata da personale esperto.

92

EXPERT PANEL

Descrizionedel metodo

Consiste nella costituzione di un gruppo di espertiindipendenti, cui viene richiesto un giudizio di valutazionesu un determinato programma. Il gruppo viene composto inmodo bilanciato ed imparziale.

Obiettivi Non si tratta di uno strumento specifico per la valutazione,ma di uno strumento generico, adatto a rispondere ad unampio ventaglio di richieste: dalla rilevanza degli obiettivi diun programma alla stima dei suoi possibili effetti o la stimadi impatto.

Quando siusa

Si utilizza per la valutazione di programmi complessi o malstrutturati, per cui risulterebbe difficile predisporre unadeguato disegno della ricerca valutativa, ma anche perprogrammi molto semplici e di piccola portata per cui nonvale la pena mobilitare ingenti risorse a fini valutativi.Nell'ambito dei Fondi Strutturali si utilizza soprattutto in fasedi valutazione ex ante, al fine di valutare quali siano glieffetti verosimilmente attendibili per un dato intervento. Frequentemente si utilizza per selezionare i progetti dafinanziare e, comunque, è spesso combinato con altristrumenti di valutazione.

Punti diforza

✔ Si tratta di uno strumento molto flessibile perprodurre giudizi sintetici basati su dati di caratterequalitativo e quantitativo anche se non sufficientiautonomamente.

✔ Si tratta di uno strumento rapido ed economico.

Punti didebolezza

✔ Può indurre ad una sottostima dei punti di vistaminori, tendendo a convergere verso opinioni fondatesu valori maggioritari.

✔ Può tradire una certa riluttanza a criticare la rilevanzadegli obiettivi o effetti indesiderati.

93

BIBLIOGRAFIA

Accettauro A., De Blasio G., Le politiche per lo sviluppo locale: lavalutazione del Patti Territoriali, Banca d'Italia- Servizio Studi di strutturaeconomica e finanziaria, 2007

Aerts K., Schmidt T., Two for the price of one?Additionality effects of R&Dsubsidies: A comparison between Flanders and Germany, Research Policy37 (2008) pp.806-822

Bagnulo A. et al., Rapporto di valutazione intermedia del DocUp Obiettivo2 Toscana, Cles srl, Roma, 2003

Barbera F., Le politiche della fiducia. Incentivi e risorse sociali nei Pattiterritoriali, Stato e Mercato, n.63, pp. 369-166, 2001

Barca F., An agenda for reformed cohesion policy. A place-based approachto meeting European Union challenges and expectation, Independent reportrequest by Danuta Hübner (Commissioner for regionale policy), aprile 2009

Bellandi M., Califfo A., The evaluation of policies for innovation troughnetworks and clusters, 2008,http://www.gredeg.cnrs.fr/Colloques/REI/Documents/bellandi_caloffi.pdf

Bezzi C. et al., Valutazione in azione. Lezioni apprese da casi concreti,Franco Angeli, 2006

Bianchi L., Martini A., Romano B., La valutazione di una politica pubblicaa sostegno della ricerca industriale: il caso della legge 598 in Piemonte,Torino, 2006 da www.prova.org

Bondonio D., Metodi quantitativi per la valutazione delle politichepubbliche, Raccolta di letture sul tema della valutazione di impatto dellepolitiche pubbliche con metodi quantitativi, Franco Angeli, Milano, pp. 246-263, 2001

Bronzini R., De Blasio G., Qual è l'effetto degli incentivi agli investimento:una valutazione della legge 488/92, Roma, Banca d'Italia, 2006

Calderini M. et al., Gli incentivi pubblici alla ricerca industriale nelleimprese del Mezzogiorno d'Italia, nota di intervento per il Convegno sulMezzogiorno organizzato da Banca Intesa San Paolo, 2008

Camagni R., Gorla G. (a cura di), Valutazione economica e valutazionestrategica di programmi e progetti territoriali, Milano, Franco Angeli, 2006

Cariola M., Calabrese G., Rolfo S., Principi teorici ed evidenze empirichenella valutazione delle politiche per l’innovazione delle regioni italiane, IIICongresso AIV, Torino, 2000, valutazioneitaliana.it

94

Cerulli G., Potì B., Evaluating the effect of public subsidies on firm R&Dactivity: an application to Italy using the community innovation survey,Ceris-CNR, W.P. n. 9/2008

Chelimsky E. (a cura di), Old Patterns and New Directions in ProgramEvaluation, in Program Evaluation: Patterns and Direction, ASPA,Washington 1985;

Commissione Europea, Direzione Generale XVI, Politica Regionale eCoesione, Coordinamento e valutazione delle operazioni, Programmazione2000-2006: indicatori per la sorveglianza e la valutazione-una metodologiaorientativa, documento di lavoro 3

Commissione Europea, Evaluation of Socio-Economic Programmes:selecting and using indicators for monitorino and evaluation, volume 2,ottobre 1998

Consiglio dell’Unione Europea, Regolamento (CE) N. 1083/2006 delConsiglio, Gazzetta Ufficiale dell’Unione Europea, 11 luglio 2006

Danish Enterprise and Construction Authority, The economic effects ofdesign,2003;http://www.ebst.dk/file/1924/the_economic_effects_of_designn.pdf

De Blasio G., Lotti F., La valutazione degli aiuti alle imprese, Bologna, IlMulino, 2008

Diez M.A., Esteban M.S., The evaluation of regional and cluster policies:looking for new approaches, University of Basque Country, 2000

Formez, Valutare gli effetti delle politiche pubbliche. Metodi e applicazionial caso italiano, Formez ufficio stampa e editoria, 2001

Holland P., Statistics and causal inference, Journal of American statisticalAssociation, 81/396, 1986

ITPS, Evaluation of the effects of government subsidies to Swedish industry,Swedish Institute for growth policy studies, 2007;http://www.itps.se/Sections/Textmall.asp?secId=899

Jacob S., Varone F., Genard J.L., L'evaluation des politiques au niveaurégional, Action publique 1, P.I.E: Peter Lang, 2007

Lippi A., La valutazione delle politiche pubbliche, Bologna, Il Mulino, 2007

Martini A., Metodo sperimentale, approccio controfattuale e valutazionedegli effetti delle politiche pubbliche, in “Rassegna Italiana di Valutazione,n. 34/2006

Martini A., Costabella L., Sisti M., Valutare gli effetti delle politichepubbliche: metodi e applicazioni al caso italiano, Formez, 2006

95

Martini A., How counterfactuals got lost on the way to Brussels, Policy andprogramme evaluation in Europe: cultures and prospects, Strasbourg, luglio,2008

Martini A., Sisti M., A ciascuno il suo, Cinque modi di intendere lavalutazione in ambito pubblico, in Informaires, n. 33/2007

Mealli F., Pagni R. (a cura di), Analisi e valutazione delle politiche per lenuove imprese. Il caso della L.R. Toscana 27/2003, Milano, Franco Angeli,2001

Meyer-Kramer F., The present status and problems of impact research intechnology policy: a case study of the federal programme for fundingresearch and development personnel in Germany, Research Policy 10, 1981

Meyer-Kramer F., Gielow G., Kuntze U., Impacts of governement incentivestowords industrial innovation. An analysis of the federal programmefunding R&D personnelin the Federal Republic of Germany, ResearchPolicy 18, 1989

NSF, The Friendly Handbook for Project Evaluation, The National ScienceFoundation, 2002

OECD, Evaluating local economic and employment development. How toassess what works among programmes and policies, Oecd, 2004

Palumbo M., Vecchia M., La valutazione: teorie ed esperienze, cfrhttp://www.valutazioneitaliana.it/riv/num4/palumbo.pdf

Ravaglioli C., Luci e ombre della politica regionale comunitaria. Fondistrutturali e PMI in Toscana, Università degli Studi di Firenze, Facoltà diSwcienze Politiche, tesi di laurea, a.a. 2003-2004

Rocher Y.A., Gonard T., le suivi de la stratégie des laboratoires en régionNord-Pas-de-Calais in Callon M., Larédo P., Mustar P., La gestionstratégique de la recherche et de la technologie, p 141-159, Paris,Economica, 1995

Romano B. et al., La valutazione di una politica pubblica a sostegno dellaricerca industriale: il caso della legge 598 in Piemonte, Regione Piemonte,Direzione Industria, Ires Piemonte, 2006

Rosenbaum P., Rubin D., The central role of the propensity score inobservational studies for causal effects, Biometrika, n.40, pp. 41-55, 1983

Sisti M., La valutazione delle politiche di aiuto alle imprese: alcuneprospettive d'analisi a confronto, in “I regimi di aiuto alle imprese 2007-2013”, Quaderni Formez, n. 59/2007

96

Tavistock Institute, GHK e IRS, The resource for the evaluation of socio-economic development, 2003,http://ec.europa.eu/regional_policy/sources/docgener/guides/cost/guide2008_evalsed.pdf

Tavistock Institute, GHK e IRS, Evaluation of socio-economic development,2003, SOURCEBOOKShttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/index_en.htm

TecnoretePiemonte, Il trasferimento tecnologico: esperienze a confronto,Lupieri editore, 2007

Trigilia C., Sviluppo locale. Un progetto per l'Italia, Editori GLF Laterza,2005

Trivellato U., La valutazione degli effetti di politiche pubbliche: paradigmae pratiche, Consiglio Italiano per le Scienze Sociali, Accademia dei Lincei,Roma, 2008; http://www.consiglioscienzesociali.org

Volpe Martincus C., Carballo J., Beyond the average effects: Thedistributional impacts of export promotion programs in developingcountries, Journal of Development Economics (2009)

97