Wirkungsorientierung und Evaluation als Instrument zur verbesserten Planung von Programmen in der deutschen Entwicklungszusammenarbeit

DEval | 18. DeGEval Jahrestagung, Speyer

18. September 2015

Miriam Amine

Inhalte

Hintergrund und Vorstellung des Engagements von DEval in Myanmar mit dem Ziel der Schaffung von Voraussetzungen zur Wirkungsmessung im Rahmen der Wiederaufnahme der deutsch-myanmarischen bilateralen EZ‘

Herangehensweise, Überblick der DEval Aktivitäten

Herausforderungen und Lessons Learnt

18/09/2015 2

Nachhaltige Wirtschaftsentwickung in Myanmar Demokratisierungs- und Reformprozess in Myanmar seit 2011

unter neuer ziviler Regierung Nachdem erste ernsthafte Reformen zu verzeichnen waren,

wurden zahlreiche Wirtschaftssanktionen westlicher Regierungen aufgehoben

Offizielle Wiederaufnahme der staatlichen bilateralen EZ mit Deutschland in 2012 mit dem Schwerpunkt Nachhaltige Wirtschaftsentwicklung (ein Programm bestehend aus 7 Projekten, Gesamtvolumen von ca. EUR 47 Mio.)

Einzigartige Möglichkeit Erfahrungen aus der Vergangenheit mit aufzunehmen und von Beginn Wirkungsorientierung zu legen

DEval Mandat: Schaffung von Voraussetzungen für eine Wirkungsevaluierung auf Programmebene

18/09/2015 3

DEval ‚Mission‘

18/09/2015 4

„Evaluative thinking“ bereits in der Projektplanung („up-front activities“)

Bedingungen für „back-end“ Wirkungsevaluierung

Evaluierbare Projektdesigns:

Wirkungsmodelle M&E-System

Wirkungsorientierung

Baseline

Wirkungsevaluierung

Aktivitäten

18/09/2015 5

Wirkungsorientierte Programmkonzeption über die Entwicklung von Wirkungsmodellen (Theories of Change)

Entwicklung von Indikatoren für alle Wirkungsfelder

Konzept für Baseline Studie

Entwicklung der Erhebungsinstrumente

Durchführung der Baseline Studie

Entwicklung eines wirkungsorientierten M&E-System auf Basis der Wirkungsmodelle (Paneldaten und Hauptfragen für Zwischenevaluierung)

Wirkungsevaluierung

Entwicklung von Wirkungsmodellen auf Modul- und Programmebene

18/09/2015 6

Programmziel

Modul 1 (TZ, GIZ): Kapazitätsstärkung und

Reform des Berufsbildungsbereichs

(TVET)

Modul 4 (FZ, KfW): Infrastruktur in der

Berufsbildung (TVET)

Modul 5 (FZ, KfW): Förderung von lokalen

Banken (FSD)

? ?

??

Modul 6 (TZ, PTB): Aufbau und

Entwicklung einer Qualitätsinfrastruktur

Modul 7 (TZ, BGR): Nachhaltige

Entwicklung des Rohstoffsektors

Modul 2 (TZ, GIZ): Privatsektor-

entwicklung (PSD)

Modul 3 (TZ, GIZ): Finanzsektor-

entwicklung (FSD)

Übergeordnetes Wirkungsgefüge

18/09/2015 7

Income generation

Stable and functioning

banking sector

Increased employment

Economic performance and competitiveness of SME strengthened

Economic reforms ensure SME friendly business environment

Banks use financial services from banks

Economic performance and competitiveness of

enterprises strengthened

Banks provide demand-oriented and profitable

financial services to SME

TVET system ensures appropriate

supply of graduates to the economy (incl. SME)

SME use governmental and non-governmental business

development services

TVET-Project

PSD-ProjectFSD-Project

Baseline: Konzept und Funktionen

Baseline und Monitoringdaten dienen als Grundlage für ein wirkungsorientiertes M&E System

Erfassung Ausgangssituation der Module und des Programms als Ganzes, so dass spätere Veränderungen relativ zur Ausgangssituation untersucht werden können

Erste Überlegungen zu Evaluierungsdesigns für verschiedene Interventionen

Screening existierender Daten Darauffolgend Entwicklung und Einsatz verschiedener

quantitativer und qualitativer Methoden zur Datengewinnung Abhängig von den Interventionsebenen

(System/Meso/Mikro) und Zielgruppen der Projekte

18/09/2015 8

918/09/2015

Überblick der geplanten Datenerhebungen

Probleme und Herausforderungen

Programm ist nicht zu einem Zeitpunkt geplant worden, sondern über fast drei Jahre in verschiedenen Konsultationsrunden mit den Partnern immer wieder verändert und erweitert worden; gemeinsame Programmplanung und Zielsetzung daher nur begrenzt möglich

Programmübergreifendes, einheitliches Monitoringsystem Planung und Durchführung von Baselineerhebungen in einem neuen

Partnerland bergen auch viel nicht Vorhersehbares: z.B.: durch noch fehlendes Rahmenabkommen für EZ, logistische Probleme, unbekannte Partner und Prozesse, die eine flexible Planungsphase erfordern

Verzögerung der endgültigen Modul- und Programmplanung und somit der Datenerhebung

18/09/2015 10

Weitere Lessons Learnt

Enge Zusammenarbeit von Evaluatoren und Durchführern im Planungsprozess verbessert das Verständnis füreinander

Planende und Durchführende lernen durch die Zusammenarbeit und den Austausch mehr über den Umgang mit und den Einsatz von Evaluierung und Evaluierungsmethoden als Steuerungsinstrument

Nur die frühzeitige Auseinandersetzung mit Evaluierung und möglichen Evaluierungsfragen ermöglicht die gezielte Datenerhebung und Anwendung von bestmöglichen Evaluierungsdesigns und steigert somit die Nützlichkeit von Evaluierungen

Evaluatoren lernen mehr über die Abläufe und Prozess in der Planung von Vorhaben im Partnerland

18/09/2015 11

Vielen Dank für Ihre Aufmerksamkeit!www.DEval.org