Kabell Konsulting aps Managing for Results

DES Årsmøde 2013

How to be Outstanding?Case: Evaluering af Paris Deklarationen

Dorte KabellKabell Konsulting 20 September 2013

Kolding

Kabell Konsulting aps Managing for Results

Michael Quinn Patton:

“When I began the metaevaluation of The Paris Declaration Evaluation, I (…) approached the evaluation with considerable skepticism about whether an evaluation of such global scope, great political stakes, intense controversy, methodological challenges, and daunting timeline could be conducted with even minimum quality, much less constitute and exemplar and model.”

Kabell Konsulting aps Managing for Results

Evalueringsobjektet

Paris Erklæringen om bistandseffektivitet Underskrevet af 150 lande og organisationer i 2005 Bygger på 5 hovedprincipper og indeholder 56

specifikke ”commitments” Erklæringen indeholdt som noget helt nyt i en politik

erklæring et tilsagn om uafhængig evaluering og monitorering

Evalueringen blev præsenteret i 2011 til Fourth  High  Level  Forum  on  Aid  Effectiveness i Busan, Korea

Google “The evaluation of the Paris Declaration” i dag og få 6.650.000 hits

Kabell Konsulting aps Managing for Results

Evalueringen

Et joint internationalt initiativ (multiple institutioner og internationale stakeholders)

Målet: ”to assess the relevance and effectiveness of the Paris Declaration and its contribution to aid effectiveness and ultimately to development effectiveness”

Implementeret i to faser; fase 1 bidrog til metodeudviklinngen i fase 2

Analyse og syntese af mange forskellig komponenter: over 50 evalueringer fra 21 lande og 12 donorer, tematiske studier, monitorerings data (parallelt forløb), litterateur review

Megen conceptuel og evalueringsteknisk diskussion og innovation

Kabell Konsulting aps Managing for Results

Evalueringens komponenter

SYNTHESIS

PHASE 1 RESULTS and Results of Monitoring Survey

EVALUATION QUESTIONS

3. Development outcomes2. Process and intermediate outcomes1. Context

COUNTRY STUDIES

DONOR STUDIES

SUPPLEMENTARYSTUDIES

Kabell Konsulting aps Managing for Results

Kabell Konsulting aps Managing for Results

Governance

Separation af evaluerings funktion fra politisk og management funktion, men med fora og mulighed for interaktion: Uafhængigt sekretariat Lille men repræsentativt management team Core syntese team repræsenterede kulturel diversitet: 8

uafhængige konsulenter, mænd og kvinder, fra Nordamerika, Europa, Asien, Afrika og Latin Amerika

33 individuelle evaluerings teams for lande studier International reference gruppe med 52 medlemmer Individuelle reference grupper for hver lande/donor-

evaluering

Evaluerings teams’ uafhængighed i centrum

Kabell Konsulting aps Managing for Results

Arbejdsprocessen

Virtual team arbejdede gennem skype, e-mail, video konference and sharepoint for at sikre fælles forståelse og adgang til alle dokumenter

Regelmæssig og intens kontakt med lande- og donor- teams i præ-syntese perioden og regelmæssige møder med management og reference gruppen

Mødtes flere gange som team, og lavede fælles workshops med lande teams

Kvalitetssikring bygget ind i processen på flere stadier ”Emerging findings workshop” på Bali med 120

personer vigtigt element i kvalitetssikring Teknisk annex indeholder analyse af evalueringen i

forhold til OECD/DAC kvalitets standarder for god evaluering

Michael Quinn Patton’s meta evaluering – førte senere til at Michael nominerede evalueringen til American Evaluation Associations’ Award for Outstanding evaluation

Kabell Konsulting aps Managing for Results

Kvalitetssikring af evidens

Evidens i centrum, og en del spørgsmål krævede en vurderings, så nødvendigt med ensartet grundlag og metode (direction of travel, distance traveled, pace of travel)

Alle case studier brugte samme evalueringsframework for at sikre komparabilitet

Udviklede standard evaulerings framework, protokoller, data indsamlingmatrixer og templates for rapporterne

Både kvantitative og kvalitative data Triangulering og brug af både primære og sekondære

kilder, statistik, surveys, interviews og andet evaluativt materiale

Peer review af final products Brug af workshops til kvalitetssikring af findings

Kabell Konsulting aps Managing for Results

Bruger-fokus

Evalueringen var designet og implementeret til at bidrage til et internationalt højniveau møde i Korea; deltagerne og deres bagland var den primære målgruppe

Evalueringsspørgsmålene tog udgangspunkt i konferencens forventede prioritets emner og blev udviklet gennem enrække workshops

Evalueringen var timet så den blev præsenteret ved mødet Anbefalingerne differentieret I forhold til forskellige

målgrupper Meget omfattende strategi for kommunikation af resultaterne;

selve rapporten men også ”afledede produkter” så som policy briefs, powerpoints, film mv.

Ekstensiv brug af forskellige medier, både traditionelle og sociale som videoclips på Youtube, og personlige præsentationer af medlemmer af Core team

Hvert land lavede derudover egen kommunikationsstrategi

Kabell Konsulting aps Managing for Results

Process-impact

Evalueringens impact går langt ud over dens findings:

Kapacitetsopbygning af nationale evalueringsteams Forstærkelse og forståelse af Paris Deklarationens

principper gennem undersøgelser og dialog Opbygning af et stort, samlet og tilgængeligt

informations-katalog om Deklarationen Lessons learned gennem metaevaluering og gennem

workshop on joint evaluation har analyseret, delt og dokumenteret denne impact

Kabell Konsulting aps Managing for Results

Og det kostede…

Ca. 78 millioner DKK

“The underlying stakes are huge: better lives for billions of people (reflected in the approaching Millennium Development Goals for 2015); hundreds of billions of dollars expended; vital international relationships; and growing demands to see results from development aid”

Kabell Konsulting aps Managing for Results

“Successful evaluation is about much, much more than systematic procedures, rigorous methods, careful analysis, and thoughtful, evidence-based judgments. The personal factor, exemplified in effective leadership, is at the core of evaluation success”

Michael Quinn Patton

Kabell Konsulting aps Managing for Results

Letters of support

J. Brian Atwood, Chairman, Development Assistance Committee, OECD 2.

Peter Davis, Chief, Evaluation and Aid EffectivenessOffice of U.S. Foreign Assistance Resources, US Department of State

Cynthia Clapp-Wincek, Director, Office of Learning, Evaluation and Research, Bureau for Policy, Planning and Learning, USAID

Ton Lansink, Director Effectiveness and Coherence Department, Policy and Operations Evaluation Department, The Hague

Pius Bigirimana, Permanent Secretary to the Prime Minister, The Republic of Uganda

Kabell Konsulting aps Managing for Results

Hvor ser I potentiale for anvendelse af good practice?

Hvad ville der skulle tages højde for i en Dansk sammenhæng?

Overvej…