wat na afloop van onze ontwikkelingssamenwerking · van het veldwerk en de afwezigheid van goede...

Ex-p

ost e

valu

atie

van

de d

uu

rzaam

heid

van

de B

elgisch

e go

uve

rnem

ente

le sa

men

werk

ing - W

at n

a a

flo

op va

n o

nze

ontw

ikke

lingssa

men

werk

ing ?

Ex-post evaluatie van de duurzaamheid van de Belgische gouvernementele samenwerking

Wat na afloop van onze ontwikkelingssamenwerking ?

Wettelijk depot: 0218/2016/017

KONINKRIJK BELGIË

Federale OverheidsdienstBuitenlandse Zaken,Buitenlandse Handel enOntwikkelingssamenwerking

Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking

Verantwoordelijke uitgever: Dirk AchtenVoorzitter van het DirectiecomitéGrafische Productie: www.mediaprocess.be

Egmont • Karmelietenstraat 15, B-1000 Brussel • + 32 (0)2 501 38 34 www.diplomatie.belgium.be • www.dg-d.be • [email protected]

KONINKRIJK BELGIË

Federale Overheidsdienst

Buitenlandse Zaken,Buitenlandse Handel enOntwikkelingssamenwerking

Dienst BijzondereEvaluatie van de BelgischeOntwikkelingssamenwerking

Ex-post evaluatie duurzaamheid: wat na afloop van onze ontwikkelingssamenwerking? 1

Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking


.

Ex-post evaluatie van de duurzaamheid van de Belgische gouvernementele

samenwerking Wat na afloop van onze

ontwikkelingssamenwerking ?

Anneke Slob – Hubert Cathala – Birgit Kerstens

Marta Medina – Jean-Marie Wathelet – Leo Devillé

Syntheserapport

Februari 2016

Deze evaluatie werd uitgevoerd door een samenwerkingsverband bestaande uit hera et ADE, daarbij ondersteund door een begeleidingscomité.

De meningen in dit document weerspiegelen de standpunten van de auteurs en niet noodzakelijk die van de FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking.

2

© FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

Februari 2016

Grafische vormgeving: Mediaprocess

Drukwerk: drukkerij FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

Evaluatie nr. S4/2014/03

Wettelijk depot : 0218/2016/017

Dit document en alle bijlagen zijn ook beschikbaar op de website http://diplomatie.belgium.be/nl/Beleid/Ontwikkelingssamenwerking/Onze_werkmethoden/Dienst_Bijzondere_Evaluatie/Verslagen of bij de Dienst Bijzondere Evaluatie.

Dit rapport moet als volgt geciteerd worden:

Dienst Bijzondere Evaluatie / DBE (2016), Ex-post evaluatie van de duurzaamheid van de Belgische gouvernementele samenwerking, Wat na afloop van onze ontwikkelingssamenwerking? FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Brussel.

http://diplomatie.belgium.be/nl/Beleid/Ontwikkelingssamenwerking/Onze_werkmethoden/Dienst_Bijzondere_Evaluatie/Verslagen�

http://diplomatie.belgium.be/nl/Beleid/Ontwikkelingssamenwerking/Onze_werkmethoden/Dienst_Bijzondere_Evaluatie/Verslagen�


Inhoudsopgave

Afkortingen en acroniemen .................................................................................v

Lijst met figuren ................................................................................................ vii

Lijst met tabellen .............................................................................................. vii

Samenvatting ..................................................................................................... 9

1. Inleiding .................................................................................................... 21

2. Methodologie ............................................................................................. 23

2.1 Doelstelling en scope van de evaluatie ....................................................... 23

2.2 Veranderingstheorieën ............................................................................. 23

2.3 Evaluatievragen en evaluatiematrix ........................................................... 27

2.4 Evaluatiemethoden en beperkingen ........................................................... 29

2.5 Selectie van interventies en regio’s ........................................................... 30

2.6 Enkele methodologische beperkingen en uitdagingen ................................... 31

3. Vaststellingen en analyses ......................................................................... 33

3.1 Contextanalyse ....................................................................................... 33

Sociaaleconomische ontwikkelingen ................................................................. 33

Politiek-institutionele ontwikkelingen ............................................................... 34

Rol van donoren ............................................................................................ 34

3.2 De Belgische gouvernementele coöperatie in Bolivia en Benin ....................... 35

Indicatieve samenwerkingsprogramma’s met Benin ........................................... 36

Indicatieve samenwerkingsprogramma’s met Bolivia ......................................... 37

3.3 Bevindingen met betrekking tot de gezondheidszorgsector .......................... 39

3.4 Bevindingen met betrekking tot de landbouwsector ..................................... 42

3.5 Analyse van de duurzaamheid .................................................................. 45

Politieke duurzaamheid .................................................................................. 45

Institutionele duurzaamheid ........................................................................... 46

Financieel-economische duurzaamheid op het niveau van de instellingen ............. 47

Financieel-economische duurzaamheid op het niveau van de doelgroep ............... 48

Sociaal-culturele duurzaamheid ...................................................................... 49

4

Ecologische duurzaamheid ............................................................................. 50

Technologische duurzaamheid ........................................................................ 51

3.6 Externe verklarende factoren .................................................................... 51

3.7 Verklarende factoren Belgische gouvernementele samenwerking .................. 52

ISPs en beleidsdialoog ................................................................................... 52

Beleidsdialoog .............................................................................................. 53

Hulpmodaliteiten ........................................................................................... 54

Ownership .................................................................................................... 55

Identificatie en formulering ............................................................................ 55

Coherentie en complementariteit .................................................................... 56

Uitvoering en technische assistentie ................................................................ 56

Resultaatgerichtheid, monitoring, evaluatie en kapitalisatie ................................ 57

Invloed van de beheerscontracten ................................................................... 57

4. Conclusies, lessen en aanbevelingen ......................................................... 59

4.1 Conclusies en lessen ................................................................................ 59

4.2 Aanbevelingen ........................................................................................ 65

Lijst van bijlagen .............................................................................................. 69

Bijlage A: Opdrachtomschrijving ........................................................................ 71

Bijlage B: Evaluatiematrix ................................................................................. 83

Bijlage C: Lijst met geraadpleegde documenten ................................................... 91

Bijlage D: Leden van het begeleidingscomité ....................................................... 93

Bijlage E : Landenrapport Benin (in apart document) ............................................ 94

Bijlage F : Landenrapport Bolivia (in apart document) ........................................... 94

Bijlage G : Nota met methodologische lessen (in apart document) ......................... 94


Afkortingen en acroniemen

AIMAEP Appui Institutionnel au Ministère de l’Agriculture de l’Élevage et de la Pêche

AIMS Projet d’Appui Institutionnel au Ministère de la Santé

BIO Belgische Investeringsmaatschappij voor Ontwikkelingslanden

BNI Bruto Nationaal Inkomen

BTC Belgisch ontwikkelingsagentschap/ Belgische Technische Coöperatie

Chayanta AP Proyecto de Desarrollo Agropecuario sostenible para la Provincia Chayanta

Chayanta Salud Sistema integrado de salud en la provincia de Chayanta del Departamento de Potosí

DAC Development Assistance Commitee

DBE Dienst Bijzondere Evaluatie

Desnutrición cero I

Financiamiento de un fondo canasta para la implementación del Programa de desnutrición cero

DGD Directoraat-Generaal Ontwikkelingssamenwerking en Humanitaire Hulp

FAFA Facilité d’Appui aux Filières Agricoles

FAIA Facilité d’Appui aux Investissements Agricoles dans les départements du Mono/Couffo, de l’Atacora/Donga

FOD Federale Overheidsdienst

FOREDES Fortalecimiento de Redes de Salud en la provincia en Chuquisaca, Potosí, Cochabamba y La Paz

GLOS Gemengde Lokale Overlegstructuur

ISP Indicatief Samenwerkingsprogramma

NGO Niet-Gouvernementele Organisatie

OECD Organisation for Economic Co-operation and Development

PAMR Projet d’Appui au Monde Rural

PAMRAD Projet d’Appui au Monde Rural dans l’Atacora/Donga

PARC Proyecto de Apoyo al Riego Comunitario

PARZDS Projet d'Appui au renforcement des Zones et Départements sanitaires du Mono/Couffo et de l'Atacora/Donga

6

PASS Programme d'Appui au Secteur de la Santé

PASTAM Projet d’Amélioration de la Sécurité Transfusionnelle dans les départements de l'Atacora, de la Donga, du Mono et du Couffo

PAZS Projet d’Appui au Zone Sanitaire

PAZS-Bassila Projet d’Appui à la Zone Sanitaire de Bassila

PROAGRIF Proyecto de Apoyo a la Agricultura Familiar

PROCAPAS Programa de Cadenas Productivas Agrícolas Sostenibles en la Provincia Oropeza

PROMIC Proyecto Manejo Integral de Cuencas

TFD Technisch en Financieel Dossier

ToR Terms of Reference


Lijst met figuren

Figuur 1. Veranderingstheorie van de Belgische gouvernementele ontwikkelingssamenwerking met Benin .................................................................. 25

Figuur 2. Veranderingstheorie van de Belgische gouvernementele ontwikkelingssamenwerking met Bolivia ................................................................. 26

Lijst met tabellen

Tabel 1. Aantal geselecteerde projecten per sector en per partnerland ....................... 31

Tabel 2. Evolutie van sociaaleconomische indicatoren, Benin en Bolivia ..................... 33

Tabel 3. Indicatieve Samenwerkingsprogramma’s (ISPs) met Benin en Bolivia, 1998-2017 .................................................................................................................. 35

Tabel 4. Gezondheidszorgprojecten Benin in relatie tot de ISPs ................................. 36

Tabel 5. Landbouwprojecten Benin in relatie tot de ISPs .......................................... 37

Tabel 6. Gezondheidszorgprojecten Bolivia in relatie tot de ISPs ............................... 38

Tabel 7. Landbouwprojecten Bolivia in relatie tot de ISPs ........................................ 38

Tabel 8. Kenmerken en bevindingen van geselecteerde afgelopen interventies in de gezondheidszorgsector in Benin en Bolivia .............................................................. 40

Tabel 9. Kenmerken en bevindingen van geselecteerde afgelopen interventies in de landbouwsector in Benin en Bolivia ........................................................................ 44


Samenvatting

Evaluatie van duurzaamheid

De Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking gaf opdracht tot een ex-post evaluatie van de duurzaamheid van de Belgische gouvernementele ontwikkelingssamenwerking. De evaluatie richtte zich op twee partnerlanden (Benin en Bolivia) en twee sectoren (gezondheid en landbouw) en besloeg de periode 2000-2015. De evaluatie werd uitgevoerd door een consortium van twee adviesbedrijven (hera en ADE).

Bij het begin van de evaluaties werd voor zowel Benin als voor Bolivia een veranderingstheorie uitgewerkt. De twee veranderingstheorieën vormden de basis voor de evaluatiematrix, met vijf belangrijkste evaluatievragen ter begeleiding van de dataverzameling en analyse. Het evaluatieteam gebruikte verscheidene methoden ter beoordeling van de duurzaamheid van ontwikkelingsresultaten, waaronder documentonderzoek, interviews en focusgroepen. Naast het afleggen van verantwoording is leren de belangrijkste doelstelling van de evaluatie.

Duurzaamheid in het kader van ontwikkelingssamenwerking behelst het meten van de waarschijnlijkheid of de voordelen van een interventie zich zullen voortzetten nadat donorfinanciering wordt stopgezet. De volgende zeven duurzaamheidscomponenten worden onderscheiden: 1) politieke duurzaamheid; 2) institutionele duurzaamheid; 3) economische en financiële duurzaamheid op het niveau van begunstigde instellingen; 4) economische en financiële duurzaamheid op het niveau van de doelbevolking; 5) socioculturele duurzaamheid; 6) ecologische duurzaamheid; 7) technologische duurzaamheid. Gezien het feit dat het evaluatieteam in belangrijke mate op secundaire bronnen van uiteenlopende kwaliteit moest terugvallen, konden niet alle duurzaamheidscomponenten in detail worden beoordeeld. Met name de beoordeling van socioculturele duurzaamheid bleek problematisch in verband met de relatief korte duur van het veldwerk en de afwezigheid van goede secundaire bronnen.

In verband met de focus op relevante leerpunten heeft het evaluatieteam veel aandacht besteed aan de analyse van factoren die verklaren waarom resultaten al dan niet duurzaam zijn. Externe verklarende factoren zijn gerelateerd aan de veranderende omstandigheden in partnerlanden en de specifieke sector. Interne verklarende factoren zijn gerelateerd aan de Belgische gouvernementele ontwikkelingssamenwerking. Aan de hand van een stoplichtanalyse werd beoordeeld en geïllustreerd of verklarende factoren op een positieve, neutrale of gemengde, of negatieve manier bijdroegen aan de duurzaamheid van resultaten. Aangezien de evaluatie werd beperkt tot twee landen en twee sectoren, kunnen de resultaten van de evaluatie niet algemeen toepasselijk worden verklaard. Desondanks zijn de evaluatieresultaten geplaatst in het veranderende kader van de Belgische gouvernementele ontwikkelingssamenwerking, met inbegrip van de beheerscontracten tussen de Belgische Staat en BTC, het uitvoerende Belgisch Ontwikkelingsagentschap, en zodoende was het mogelijk om een aantal algemene leerpunten te formuleren ten aanzien van hoe duurzaamheid in de totale beleidscyclus beter kan worden aangepakt.

Volgens de OESO is duurzaamheid één van de vijf belangrijkste evaluatiecriteria in ontwikkelingssamenwerking, maar krijgt het relatief weinig aandacht omdat ex-post evaluaties na beëindiging van interventies niet vaak voorkomen. Daarnaast verschaffen tussentijdse en definitieve projectevaluaties geen inzicht in de duurzaamheid van

10

resultaten; ze kunnen slechts de potentiële duurzaamheid inschatten. Desondanks kunnen uit recente ex-post evaluaties bruikbare methodologische lessen worden geleerd. Een belangrijke algemene les uit deze duurzaamheidsevaluatie en andere impactevaluaties is dat goede kwantitatieve en kwalitatieve basisgegevens nodig zijn, in combinatie met longitudinale gegevens, op basis waarvan de impact en duurzaamheid van ontwikkelingsinterventies kunnen worden nagegaan. In een afzonderlijke methodologische nota met lessen presenteert het evaluatieteam specifieke methodologische lessen over hoe de evaluatie van duurzaamheid kan worden verbeterd.

Verschillen tussen Benin en Bolivia op landen- en sectorniveau

Beide landen hebben een bevolking van ongeveer 10 miljoen mensen. Benin kent echter een hoge bevolkingsgroei van 3% per jaar, terwijl de bevolkingsaanwas in Bolivia 1.6% bedraagt (cijfers 2013). Beide landen worden gekarakteriseerd door relatief stabiele democratische regimes en hebben een geleidelijke economische groei doorgemaakt, hoewel Bolivia sinds 2006 sneller is gegroeid dan Benin. Als gevolg daarvan heeft Bolivia zich tot een middeninkomensland ontwikkeld (BNP per hoofd van de bevolking in 2013: US$ 2620), terwijl Benin nog steeds een laaginkomensland is (BNP per hoofd van de bevolking in 2013: US$ 790). De groei in Bolivia had een daling van de armoede tot gevolg, hoewel onder 45% van de bevolking nog steeds armoede heerst en inkomensongelijkheid hoog blijft. In Benin leeft naar schatting 36% van de bevolking onder de armoedegrens en dit percentage blijft ondanks de matige economische groei ongewijzigd.

In het algemeen kan Bolivia worden gekarakteriseerd als een land van geleidelijke vooruitgang en met een duidelijk socio-economisch beleid. Internationale ontwikkelingshulp aan Bolivia is aanzienlijk gereduceerd en bedraagt momenteel ongeveer 1% van het BBP. Vele bilaterale donoren hebben zich reeds teruggetrokken uit de bilaterale gouvernementele samenwerking of bereiden beëindiging daarvan voor. Ook in Benin werd nieuw beleid ontwikkeld, maar het land kreeg tegelijkertijd te maken met aanzienlijke uitvoeringsproblemen en terugslagen. Benin is nog steeds in grote mate afhankelijk van ontwikkelingshulp en ongeveer 50% van de overheidsuitgaven wordt gefinancierd door donoren. Er bestaat nog steeds veel armoede en de economie is niet gediversifieerd en gevoelig voor externe schokken. Armoede en voedselonzekerheid komen vaker voor op het platteland dan in de steden. De algemene verschillen op landenniveau worden weerspiegeld op sectorniveau. Voor Bolivia zijn de gezondheidsindicatoren vele malen beter dan voor Benin en wijzen ze bovendien op geleidelijke verbetering, tegen langzamere vooruitgang in Benin. De bijdrage van de landbouwsector van de twee landen aan hun nationale economieën verschilt aanzienlijk: in Benin bedraagt deze 35-37% van het BBP met een licht opwaartse trend, terwijl voor Bolivia 13-15% wordt opgetekend met een dalende tendens. In Benin geldt de landbouw als één van de drijvende krachten achter economische groei.

De Belgische gouvernementele ontwikkelingssamenwerking in Benin en Bolivia

De Belgische ontwikkelingssamenwerking met partnerlanden is gebaseerd op (in principe vierjaarlijkse) gezamenlijk geformuleerde Indicatieve Samenwerkingsprogramma's (ISPs). Hoewel de ISPs met name betrekking hebben op gouvernementele of directe samenwerking, die door BTC wordt uitgevoerd, omvatten zij eveneens de indirecte samenwerking met partnerlanden via NGOs en universiteiten. De bilaterale beleidsdialoog tussen België en haar partnerlanden is gekoppeld aan de ISPs.

Tabel 1 bevat een overzicht van de duur van de ISPs voor de twee landen en de ermee samenhangende financieringen. Het overzicht toont aan dat in Benin de ISPs grotendeels volgens plan werden uitgevoerd, met slechts één verlenging (voor de derde ISP). Voor Bolivia was de uitvoering van ISPs problematischer en was er sprake van verscheidene lange verlengingen. Het financieringsbedrag voor Benin lag vele malen hoger dan dat

Samenvatting


voor Bolivia. De Belgische overheid heeft aangekondigd dat de gouvernementele samenwerking met Bolivia met ingang van 30 juni 2019 wordt stopgezet.

Tabel 1. Indicatieve Samenwerkingsprogramma's (ISP's) met Benin en Bolivia, 1998-2017

Jaren 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17

Benin

miljoen €

ISP 1998-2003 ISP 2004-2007 ISP 2008-2011 Verl ISP 2013-2017

25 30 52 55

Bolivia

miljoen €

1996-1998

ISP 2000-2003 Verlengd (verl.) ISP 2008-2011 Verl. ISP 2014-2016

Verl

30 40 15

De samenwerking tussen de twee landen wordt al jaren gekenmerkt door een opmerkelijke mate van stabiliteit en in beide landen worden de twee sectoren (gezondheid en landbouw) al meer dan 20 jaar door België gesteund. Vroeger steunde België ook andere sectoren, maar overeenkomstig internationale verdragen betreffende de effectiviteit van ontwikkelingshulp is de Belgische steun aan partnerlanden in de loop der tijd teruggebracht naar twee sectoren. Transversale thema's zoals gender en milieu maken een integraal deel uit van de ISPs.

De ISPs voor Benin zijn duidelijk gericht op twee regio’s: Atacora-Donga in het noorden en Mono-Couffo in het zuiden. In Bolivia werd in de loop der tijd de regionale focus verlegd: aanvankelijk was er een behoorlijk aantal interventies in de lage landen rondom Santa Cruz, maar de ISP 2000-2003 concentreerde zich op de armere hooglanden, met name de provincie Chayanta. In latere ISPs voor Bolivia was de regionale focus minder expliciet, hoewel de landbouwinterventies min of meer geconcentreerd werden in de departementen Cochabamba en Chuquisaca, alsmede de provincie Chayanta, die deel uitmaakt van het departement Potosi.

In beide landen voerde de Belgische ontwikkelingssamenwerking in beide sectoren een aantal projecten uit, waarbij werd gepoogd om tot een meer programmatische benadering te komen. In geen van beide landen werd echter een echte sectorbenadering ingevoerd op basis van akkoorden tussen de nationale regering en donoren over de implementatie van een sectorbeleid en regulier beleidsoverleg. Alle interventies sluiten nauw aan bij het relevante nationaal beleid. Projectsteun is de meest voorkomende hulpmodaliteit. Alleen in Bolivia werd ook een andere hulpmodaliteit toegepast, namelijk in de vorm van Belgische bijdragen aan basketfunding voor nationale programma's voor ondervoeding en landbouw. In Benin wordt de nodige aandacht besteed aan de institutionele verankering van de verschillende projecten, waarbij getracht wordt interventies op lokaal niveau te koppelen aan interventies op nationaal niveau.

Outputs en outcomes

Onderstaande tabel bevat een samenvatting van de outputs waaraan België via verschillende interventies heeft bijgedragen, gegroepeerd overeenkomstig de door het evaluatieteam ontwikkelde veranderingstheorieën.

Type outputs Benin Bolivia

Gezondheid

Verbeteringen aan de aanbodzijde

Het verstrekken van infrastructuur en apparatuur voor gezondheidsvoorzieningen;

Capaciteitsversterking van zorgpersoneel op verschillende niveaus (onder meer nationaal);

Betere planning gezondheidszorg en betere beheerssystemen op verschillende niveaus;

Beter nationaal beleid,

Het verstrekken van infrastructuur en apparatuur voor gezondheidsvoorzieningen;

Lichte capaciteitsversterking van zorgpersoneel op lokaal niveau;

Verbeterde planning en uitvoering van gezondheidsstrategieën op gemeentelijk niveau.

12

Type outputs Benin Bolivia

bijvoorbeeld op het gebied van bloedtransfusies.

Verbeteringen aan de vraagzijde

Versterking van gebruikersplatforms betreffende gezondheidszorg;

Inkomstengenererende activiteiten voor lokale gezondheidswerkers, vrouwengroepen en andere leden van gebruikersplatforms betreffende gezondheidszorg;

Opstelling van een resultaatgericht financieringssysteem voor gezondheidszorg.

Capaciteitsversterking van aan gezondheids- en voedingsdiensten gerelateerde lokale overheden, gemeenschapsleiders en gemeenschapsgroepen.

Landbouw

Capaciteitsversterking van overheids- en private actoren

Beperkte verstrekking van infrastructuur en apparatuur aan overheids- en private actoren. Capaciteitsversterking van overheidsactoren op verschillende niveaus en van een aantal producentengroepen.

Verstrekking van infrastructuur en apparatuur met name aan producentenorganisaties: verbetering van productiecapaciteit;

Versterkte producentenorganisaties;

Capaciteitsversterking van landbouwteams/-afdelingen in gemeenten en in het departement Cochabamba;

Formulering van een nationaal beleid voor irrigatiebekkens.

Verbetering van landbouwproductietechnieken of andere verbeteringen in de landbouwwaardeketen

De focus op tussenpersonen heeft geleid tot verbeterde dienstverlening aan producenten ten aanzien van de commercialisering van gewassen en tot een lichte verbetering van de distributie van inputs;

Aangenomen mag worden dat België heeft bijgedragen aan de geconstateerde toename van landbouwproductie in Atacora-Donga.

Verbeterde irrigatiebekkens en adequaat irrigatiebeheer van genoemde bekkens;

Introductie en toepassing van verbeterde landbouwtechnieken;

Introductie en toepassing van verbeterde praktijken met betrekking tot de gezondheidzorg van vee;

Verbeterde commercialisering;

Diversificatie en toename van landbouwproductie.

Er zijn belangrijke verschillen en overeenkomsten tussen de benadering van de Belgische coöperatie in de twee landen en de gerealiseerde outputs. In Benin lag de nadruk voornamelijk op versterking van de overheidsactoren op verschillende niveaus om de bevolking beter van dienst te kunnen zijn en tegelijkertijd haar betrokkenheid te verhogen. Dit kan worden gekoppeld aan de dubbele institutionele verankering op lokaal en nationaal niveau die centraal staat in de Belgische ontwikkelingssamenwerking met Benin. In Bolivia heeft de nadruk met name gelegen op versterking van de dienstverlening op lokaal niveau en versterking van gemeenschaps- en producentengroepen. Met name op het niveau van de doelgroep zijn de outputs concreter en beter waarneembaar in Bolivia dan in Benin. In beide landen toonde de uitvoering van projecten een gemengd beeld, met zowel redelijk succesvolle projecten, als projecten waarvoor de voorgenomen outputs niet werden gerealiseerd. Zo concentreerde een gezondheidszorgproject in de provincie Chayanta in Bolivia zich met name op de bouw van gezondheidsvoorzieningen en de verstrekking van apparatuur (hardware), maar werd aan adequate personeelsbezetting van de voorzieningen relatief minder aandacht besteed. In bepaalde landbouwprojecten in Benin en Bolivia werd tevergeefs getracht landbouwinnovaties door te voeren. In Bolivia werden echter wel

Samenvatting


nieuwe vruchtensoorten, zoals perziken, geïntroduceerd. Vier van de tien geselecteerde interventies in de twee landen realiseerden het merendeel van de geplande outputs en outcomes en werden daarmee doeltreffend geacht.

Gezien de verschillen in context en benadering is het niet verbazend dat in Bolivia meer tastbare outcomes werden gerealiseerd dan in Benin. Desalniettemin zijn in de twee gezondheidsdistricten in Benin die langetermijnhulp van België ontvingen de prestatie-indicatoren op het gebied van de volksgezondheid, zoals bezoeken aan gezondheidsvoorzieningen en het aantal bevallingen in gezondheidscentra, aanzienlijk beter dan het regionale gemiddelde, hoewel niet alle doelstellingen worden gehaald. In Bolivia is een duidelijke verbetering te zien van de voedingssituatie onder kinderen, met name in de leeftijdsgroep jonger dan 2 jaar, en is ook de kennis van voeding onder de doelbevolking verbeterd.

De door België – samen met andere donoren – gesteunde landbouwinterventies hebben een directe bijdrage geleverd aan de toegenomen productie van bepaalde gewassen, fruit en groenten in Bolivia, en aan betere marketing. In Benin kan daarentegen geen verband worden geconstateerd tussen de Belgische hulp en de toegenomen landbouwproductie, hoewel mag worden aangenomen dat de bilaterale hulp van België in enige mate heeft bijgedragen aan de positieve dynamiek. Gezien de beperkte rol van de Belgische samenwerking en de verschillen in economische verbeteringen in beide landen kan de omvang van de Belgische bijdrage aan hun landbouwproductie niet worden vastgesteld.

De ex-post evaluatie van de outputs en outcomes in Bolivia is positiever dan op basis van de analyse van secundaire bronnen – inclusief finale evaluaties – en de in Brussel gehouden interviews voorafgaand aan het terreinbezoek, werd verwacht.

Politieke, institutionele en economisch-financiële duurzaamheid

Politieke en institutionele duurzaamheid kregen de meeste aandacht in beleidsformuleringen, projectontwerpen en evaluaties. Het is duidelijk dat via de ISPs, alle interventies nauw aansluiten bij het nationale beleid voor de respectievelijke sectoren. Dit kan worden beschouwd als een eerste vereiste voor de politieke duurzaamheid van resultaten. Van groot belang voor duurzaamheid is echter of sectorbeleid daadwerkelijk wordt uitgevoerd. Dit laatste vereist goed leiderschap en de wil om te veranderen. In het algemeen zijn in Bolivia de politieke en institutionele omstandigheden beter dan in Benin en daarom gunstiger voor het realiseren van duurzame ontwikkelingsresultaten.

Op basis van het decentralisatiebeleid dat sinds 1994 in Bolivia wordt doorgevoerd, beschikken gemeenten over middelen voor het leveren van diensten aan de burgers. De Belgische hulp, met name aan de landbouwsector, concentreerde zich op capaciteitsversterking van gemeenten en gemeenschappen, waarbij de nodige koppelingen werden gelegd naar de departementale en nationale niveaus. Een deel van de bereikte outputs en outcomes in de twee sectoren is duurzaam vanuit politiek, institutioneel en economisch-financieel oogpunt. De systemen bevatten echter nog steeds aanzienlijke zwakke punten, zoals personeelsverloop in de gezondheidszorg, onvoldoende kennis en spanningen tussen het centraal niveau en de gemeenten. Nauwkeuriger omschrijving en een betere balans tussen de ‘hardware’ en ‘software’ van projecten, met name in de gezondheidssector, zou kunnen hebben bijgedragen tot duurzamere resultaten. In de praktijk bleken gemeenten en andere actoren in staat om de activiteiten na stopzetting van de Belgische ontwikkelingssamenwerking voort te zetten. Dit betekent niet dat er geen ruimte en behoefte is aan verdere verbetering, maar het is een eerste aanzet.

In Benin is beoordeling van de duurzaamheid van resultaten lastig omdat de Belgische interventies in het kader van ontwikkelingssamenwerking nog steeds plaatsvinden in dezelfde (thematische en geografische) gebieden. Derhalve dient hier de hypothetische situatie – wat zou er gebeuren als de hulp wordt stopgezet – te worden beoordeeld. Ondanks institutionele versterking op verschillende niveaus is de beoordeling van de

14

verwachte institutionele duurzaamheid van resultaten niet erg positief. Ten eerste zijn er onvoldoende fondsen beschikbaar voor de levering van diensten. Slechts 10% van de overheidsfinanciering wordt toegewezen aan de gezondheidssector en daarmee schiet Benin tekort ten opzichte van de Abuja Declaratie die voorschrijft dat ten minste 15% van het jaarlijkse budget moet worden ingezet ten behoeve van gezondheidszorg. De achterstand in de uitvoering van de nodige structurele hervormingen waartoe in vele beleidsmaatregelen is besloten, belemmeren duurzaamheid. Dit heeft te maken met een gebrek aan leiderschap. Een paar uitzonderingen daargelaten blijft het institutionele milieu in Benin in het algemeen zwak en kwetsbaar, ondanks alle pogingen tot versterking ervan. De verbeteringen in de aanpak van bloedtransfusies, waarvoor een afdoende nationaal systeem is opgezet, zijn hierop een positieve uitzondering. Mits financiering ervan is gegarandeerd, zijn de vooruitzichten dat dit systeem in adequate mate kan blijven functioneren, goed. Algemene afhankelijkheid van hulp blijft echter zeer hoog en de belangrijkste politieke, institutionele en economisch-financiële voorwaarden voor duurzame resultaten zijn in Benin nog niet gerealiseerd.

Socioculturele en socio-economische duurzaamheid op het niveau van de doelbevolking

Aan de duurzaamheid van resultaten op het niveau van de bevolking werd relatief weinig aandacht besteed, hoewel in beide landen in beide sectoren werd getracht om de bevolking te betrekken bij eerdergenoemde activiteiten. De duurzaamheid van versterkte gemeenschaps- en producentenorganisaties vereist een toereikend institutioneel kader en de continue beschikbaarheid van fondsen. Aangezien de Boliviaanse gemeenten over (beperkte) fondsen beschikken en gewend zijn om samen te werken met gemeenschapsgroepen, zijn de vooruitzichten voor duurzame resultaten hier relatief positief. Dit is veel minder het geval in Benin, waar niet verwacht kan worden dat de overheid in de nabije toekomst uit eigen middelen fondsen beschikbaar zal stellen aan gemeenschapsgroepen. De projecten hebben echter geen inschatting gemaakt van de capaciteit van de bevolking om zelf hun eigen organisaties te financieren, hoewel deze niet erg hoog wordt geacht. Dit betekent dat de duurzaamheid van gemeenschaps- en producentenorganisaties in het gedrang zou komen als donorfinanciering zou worden gestaakt.

Hoewel een aantal specifieke activiteiten – met name op het gebied van gezondheid en voeding – op vrouwen was gericht, kreeg de rol van vrouwen in gemeenschapsgroepen relatief weinig aandacht. De twee gezondheidszorgprojecten in Bolivia en één soortgelijk project in Benin waren specifiek op vrouwen gericht en slaagden erin om vrouwen een grotere rol te geven in de verschillende netwerken rond gezondheidsvoorzieningen. Gezien de voortgaande steun kan de feitelijke duurzaamheid van deze resultaten echter niet worden vastgesteld. In het algemeen werd gender niet als een belangrijk transversaal thema behandeld. De relatief beperkte aandacht voor gender vormt een risico voor de socioculturele duurzaamheid van resultaten.

Toch kon socioculturele duurzaamheid niet diepgaand worden beoordeeld, vanwege een tekort aan adequate informatie in secundaire bronnen en onvoldoende tijd om diepgaand onderzoek te doen. Zo is er bijvoorbeeld geen informatie over in hoeverre de bevolking de geïntroduceerde innovaties (zoals op prestaties gebaseerde financiering in de gezondheidssector in Benin) accepteert en evenmin over hoe zij de kwaliteit van de geleverde diensten ervaart. Deze factoren hebben te maken met het vertrouwen van de bevolking in de overheid voor wat betreft de levering van de benodigde diensten. In sommige andere landen werd nuttig onderzoek over deze onderwerpen uitgevoerd, waaruit interessante verklaringen naar voren kwamen over waarom het aantal bezoeken aan gezondheidsinstellingen laag blijft in bepaalde landen en waarom landbouwinnovaties niet worden geaccepteerd. Voor Benin en Bolivia was over deze twee onderwerpen echter geen relevante informatie voorhanden.

Samenvatting


Technologische en ecologische duurzaamheid

De beoordeling van de technologische en ecologische duurzaamheid van resultaten is gematigd positief, met uitzondering van ecologische duurzaamheid voor de landbouwsector in Benin. In het algemeen werden zowel in de gezondheidssector als in de landbouwsector passende technologische interventies geïntroduceerd waarbij rekening werd gehouden met de capaciteiten van de betrokken actoren. De benodigde training werd voorzien om de overname van technologische innovaties te vergemakkelijken. Zoals eerder aangegeven werd een aantal specifieke innovaties in landbouw niet overgenomen, omdat ze geen productiegroei teweegbrachten of omdat de marketingmogelijkheden beperkt waren. In beide landen werden passende systemen ontwikkeld voor biomedisch afval. Water en sanitaire installaties in en rondom de gezondheidsvoorzieningen werden verbeterd en functioneren nog steeds. In Bolivia, waar landbouwsteun gericht was op de irrigatiebekkens en een stimulans gaf aan biologische teelt, werd de nodige aandacht geschonken aan milieuaspecten. De interventies hebben daar aantoonbaar geleid tot verminderde erosie. Daarentegen hebben in Benin verschillende studies de fragiele milieuomstandigheden en de negatieve gevolgen van klimaatverandering aangetoond. Deze overwegingen zijn echter niet vertaald naar de projectstrategieën voor landbouw, aangezien de nadruk hier lag op verbetering en diversificatie van de landbouwproductie.

Externe verklarende factoren

Contextuele factoren zijn vrij belangrijk bij het verklaren of verduurzaming van resultaten mogelijk is. In Bolivia is de ontwikkelingscontext vele malen gunstiger dan in Benin. Beide landen kennen een gunstig sectorbeleid, dat is ondersteund door goede wetgeving en decentralisatiebeleid. In Benin echter, ontbreekt het aan voldoende leiderschap om dat beleid en de daarmee samenhangende structurele hervormingen doelmatig uit te voeren. In Bolivia is sprake van sterk leiderschap voor uitvoering van het beleid op basis van belangrijke concepten als soevereiniteit en ‘vivir bien’.

De relatief beter ontwikkelde economische basis, die onder meer tot uiting komt in de recent verworven middeninkomensstatus voor Bolivia, biedt een goede basis voor duurzame resultaten. Dit komt weer tot uitdrukking in hogere financiering voor gezondheidsdiensten, ook op gemeentelijk niveau, en het instellen van verzekeringssystemen. In Benin komt de economische groei maar langzaam op gang en blijft de overheidsfinanciering van gezondheidsvoorzieningen op een laag niveau en ver verwijderd van de doelstelling in de Abuja Declaratie. Daarnaast leveren de hoge bevolkingsgroei en urbanisatie in Benin weliswaar mogelijkheden, maar ook veel problemen op. Hoewel dit enerzijds op korte termijn leidt tot een grotere vraag naar landbouwproducten en gezondheidsdiensten, verhoogt het anderzijds de druk op de nationale middelen en kan het duurzame ontwikkeling op lange termijn ondermijnen.

Het institutionele raamwerk toont in beide landen sterkten en zwakten, met meer sterkten in Bolivia en meer zwakheden in Benin. In Benin hebben ondanks alle institutionele steun die wordt verstrekt door de vele donoren, waaronder België, zwakten op alle niveaus de overhand. In Bolivia is een aantal gemeentes niet sterk in het leveren van gezondheidsdiensten. In beide landen heeft een hoog personeelsverloop, met name in de gezondheidssector, een negatieve invloed op de duurzaamheid van positieve resultaten voor wat betreft versterking van organisaties.

In beide landen is de beleidsdialoog tussen de nationale regering en donoren niet goed ontwikkeld en blijft deze hoofdzakelijk beperkt tot het op elkaar afstemmen van beleid en technische en administratieve aangelegenheden, terwijl problemen op het gebied van uitvoering niet worden aangepakt. In Bolivia steunt de regering Morales het concept ‘nationale soevereiniteit’, wat niet goed samen gaat met een diepgaande beleidsdialoog met buitenlandse donoren. Dit betekent dat afhankelijk van het leiderschap, op sectorniveau de kwaliteit van de dialoog in de loop der tijd aanzienlijke verschillen te zien kan geven. De dialoog in de gezondheidssector is zeer

16

beperkt en dit verklaart waarom de ‘basketfundfinanciering’ van het voedingsprogramma, die gedurende een aantal jaren goed heeft gewerkt, nu door de donoren wordt stopgezet. Anderzijds is in de landbouwsector een nieuw ‘basketfund’ opgezet voor irrigatiebekkens en komt een nieuwe dynamiek tussen de overheid en donoren op gang. In Benin hebben donoren belangrijke financiële en technische ondersteuning verschaft om een nieuw beleid te ontwikkelen, maar uitvoering van dat beleid en feitelijke hervormingen blijven achter op de planning. Als gevolg daarvan heeft de beleidsdialoog in Benin in de loop der jaren momentum verloren. Benin blijft afhankelijk van hulp, maar gezien de beperkte hervormingen is er niet langer sprake van gezamenlijke agendabepaling. Ondanks vele gesprekken over sectorbenaderingen zijn projectinterventies de belangrijkste hulpmodaliteit en worden gemeenschappelijke strategieën niet daadwerkelijk nagestreefd.

Verklarende factoren Belgische gouvernementele samenwerking

Hoewel de externe factoren cruciaal zijn voor duurzame resultaten, kan de Belgische samenwerking ook bijdragen aan duurzaamheid.

Alle ISPs zijn goed afgestemd op het nationale beleid, wat een positief effect heeft op duurzaamheid. De ISPs worden door beide landen gezamenlijk vastgesteld. Partnerlanden waarderen België als donor vanwege haar openheid voor een dialoog en haar flexibiliteit. Ook de sectorconcentratie en de regionale concentratie van de steun hebben een positieve invloed op de duurzaamheid van resultaten. Toch zijn de specifieke duurzaamheidsproblemen gerelateerd aan het verstrekken van steun aan de armste regio in een land, niet goed doordacht. In het algemeen komt duurzaamheid in ISPs nauwelijks aan de orde en worden geen exitstrategieën opgesteld. Aangezien België beoogt steun op lange termijn te verstrekken, werd ervan uitgegaan dat exitstrategieën niet nodig waren. De niet-tijdgebonden steun aan specifieke sectoren belemmert echter de realisatie van duurzame resultaten, aangezien de voorwaarden voor een goede overdracht niet worden gespecificeerd. Complementariteit en coherentie van interventies krijgen de nodige aandacht, met de nadruk op koppelingen tussen de verschillende bilaterale projecten, en minder aandacht voor complementariteit met activiteiten van de Belgische indirecte samenwerking (met uitzondering van de laatste ISP in Bolivia) en activiteiten van andere donoren. De bilaterale beleidsdialoog is met name gericht op technische en administratieve (project)aangelegenheden. Factoren die een invloed hebben op duurzaamheid, zoals het uitblijven van hervormingen, komen niet echt ter sprake. Hoewel overkoepelende politieke, institutionele en financiële factoren die de duurzaamheid beïnvloeden niet gemakkelijk in een bilaterale beleidsdialoog aan de orde kunnen worden gesteld – daarvoor is namelijk een groter forum vereist – heeft België toch kansen gemist om deze factoren ter tafel te brengen. Een goede sectoranalyse in combinatie met een analyse van de comparatieve voordelen van België als donorland is een belangrijk vereiste voor succesvolle sectorinterventies. Daarnaast blijkt de combinatie van steun op verschillende niveaus (lokaal, regionaal en nationaal) een positieve factor. Gezien de context in beide landen en bij gebreke van een sectorbrede benadering, zijn projectinterventies de voornaamste hulpmodaliteit, ook al is dit niet altijd de meest optimale hulpmodaliteit voor duurzame resultaten. De keuze – met name in Benin – om de steun op departementaal niveau te combineren met institutionele steun op nationaal niveau, wordt in principe geschikt geacht. Echter, bilaterale projecten op nationaal niveau kunnen te ambitieus zijn en zaken pogen aan te pakken waarover ze geen controle hebben. In Bolivia heeft België bijgedragen aan de ‘basketfundfinanciering’ van een nationaal ondervoedingsprogramma en wordt gestart met ‘basketfundfinanciering’ van de irrigatiesector. In principe kan deze hulpmodaliteit duurzame resultaten genereren, mits aan bepaalde voorwaarden worden voldaan. Het voedingsprogramma in Bolivia heeft tot goede resultaten geleid, maar de dialoog met de financierende donoren was gecompliceerd en als gevolg daarvan hebben deze zich geleidelijk aan teruggetrokken.

Adequate identificatie en goede formulering van projectinterventies vormen een positieve factor. In het algemeen is de kwaliteit van de formuleringen van de Belgische

Samenvatting


interventies in het kader van ontwikkelingssamenwerking in de loop der tijd wel beter geworden, maar één en ander is voor verdere verbetering vatbaar, met name wat betreft de integratie van duurzaamheidsproblemen. Recente projectdocumenten bevatten een adequate contextanalyse, inclusief een adequate institutionele analyse, maar diepgaande baselineonderzoeken op basis van bevolkingsenquêtes werden niet uitgevoerd. Risico's worden eveneens geïdentificeerd met daaraan gerelateerde risicoverminderende maatregelen. Desalniettemin wordt geen aandacht geschonken aan de voorwaarden voor duurzame resultaten en overdracht. Transversale zaken krijgen in de meeste projecten ook te weinig aandacht. In Bolivia waren er in de beginjaren in beide sectoren een aantal projecten die weliswaar te lijden had van slechte formuleringen, maar desondanks een aantal duurzame resultaten opleverden, omdat de gemeentes de activiteiten konden voortzetten.

Ownership van de interventies vanaf het moment van identificatie en formulering beïnvloedt duurzaamheid in belangrijke mate, maar verschilde aanzienlijk per interventie. Gedurende de uitvoering is voldoende flexibiliteit noodzakelijk en de projectdocumenten dienen niet als een ‘blueprint’ te worden opgevat. Projectbeheer zou niet gericht moeten zijn op resultaten, maar op duurzame resultaten. Te veel druk op tijdige uitvoering van interventies kan een negatief effect hebben op duurzaamheid. Mits doelgericht en in de juiste mate verstrekt kan technische assistentie bijdragen aan duurzame resultaten. De inzet van een relatief groot aantal technische assistenten kan makkelijk leiden tot substitutie en overdracht van activiteiten bemoeilijken. Soms zijn technische assistenten te veel betrokken bij administratieve zaken.

Monitoring en evaluatie vinden in adequate mate plaats, maar zijn door hun aard beperkt tot de projectcyclus en kunnen daarom duurzaamheid niet daadwerkelijk aan de orde stellen. Monitoring- en evaluatiesystemen ondergingen aanzienlijke verbetering in de loop der tijd en leveren in principe een goede basis voor beoordeling van de duurzaamheid van resultaten. De relatief recente pogingen tot kapitalisatie door BTC en de wetenschappelijke en versterkende steun zouden meer inzicht kunnen geven in de duurzaamheid van resultaten, ware het niet dat de huidige nadruk op zichtbaarheid ligt.

Ten slotte zou het interessant zijn om te weten of en zo ja, hoe de individuele beheerscontracten tussen de Belgische staat en BTC een invloed hebben gehad op de duurzaamheid van resultaten. Zo hier al een relatie tussen bestaat, is die in elk geval van indirecte aard. De verantwoordelijkheid voor de beleidsformulering en de beleidsdialoog heeft altijd bij de Directie-Generaal Ontwikkelingssamenwerking (DGD) gelegen, terwijl BTC verantwoordelijk is voor de uitvoering. Voor alle beheerscontracten geldt dat een goede uitwisseling van informatie tussen de attaché en BTC, op basis van een goede werkrelatie, van zeer groot belang is voor de realisatie van duurzame resultaten. Hoewel de werkrelatie tussen deze actoren in de laatste acht jaar in beide landen goed is geweest, is er ruimte voor systematische verbetering. Er werd geen bewijs gevonden dat de veranderingen in de beheerscontracten de duurzaamheid op positieve of negatieve wijze hebben beïnvloed.

Aanbevelingen voor de Belgische gouvernementele ontwikkelingssamenwerking

Voor alle actoren:

• Aangezien het realiseren van duurzame resultaten een gedeelde verantwoordelijkheid is van alle actoren, dient nóg meer aandacht te worden geschonken aan goede samenwerking en uitwisseling van informatie tussen de Belgische actoren van de gouvernementele ontwikkelingssamenwerking en de partnerlanden. De ISPs zouden specifiek aandacht moeten schenken aan de identificatie van factoren die duurzaamheid beïnvloeden en het monitoren van die factoren in de beleidsdialoog.

• De expertise met betrekking tot duurzaamheid van ontwikkelingssamenwerking moet verder worden verbeterd via integratie ervan in de trainingsprogramma's,

18

en duurzaamheid dient meer aandacht te krijgen in de kennisuitwisselingssystemen.

• Een diepgaande gezamenlijke reflectie op verdere verbetering van het M&E-systeem voor de Belgische gouvernementele ontwikkelingssamenwerking is nodig. BTC is verantwoordelijk voor M&E gedurende de interventiecyclus. In de formuleringsfase zou BTC duurzaamheid op meer systematische wijze moeten beoordelen en duurzaamheidsindicatoren moeten identificeren die in het M&E-systeem zouden moeten worden opgenomen. Daarnaast zou BTC kunnen starten met een beperkt aantal impactevaluaties van geselecteerde interventies, die vanaf het begin af aan zouden moeten worden ingebouwd in de interventiecyclus, om er lering uit te kunnen trekken. De Dienst Bijzondere Evaluaties zou zich nog meer kunnen richten op bredere evaluaties, niet specifiek gericht op interventies, die duurzaamheid op systematische wijze benaderen.

Voor de Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking:

• Duurzaamheid systematisch aanpakken in de ISPs en afspraken maken over deadlines en voorwaarden in verband met de overdracht aan instellingen van het partnerland, en deze zaken aan de orde stellen en monitoren in de beleidsdialoog.

• Specifieke termijnen overwegen voor de samenwerking in een specifieke sector, met inbegrip van tijdige voorbereiding van een exit- en/of transitiestrategie per sector, maar wel met inachtneming van voldoende flexibiliteit in de uitvoering om zo duurzame resultaten te kunnen realiseren.

• Voor partnerlanden die op afzienbare termijn de middeninkomensstatus bereiken, exit- of transitiestrategieën uitwerken als integraal onderdeel van het ISP, ruim voordat het formele politieke besluit wordt genomen.

• Meer de nadruk leggen op de beleidsdialoog (d.w.z. de bilaterale beleidsdialoog), maar in het bijzonder ook op de bredere sectorbeleidsdialoog waar belangrijke zaken zoals de uitvoering van hervormingen en sectorfinanciering worden besproken en druk wordt uitgeoefend om deze te realiseren.

Voor BTC:

• Bij het formuleren van interventies, explicieter zijn in het benoemen van voorwaarden voor exit- en transitie van de hulprelatie; duurzaamheidsindicatoren identificeren en monitoren; en ‘exit at entry’ (vertrekken bij aankomst) voorbereiden.

• Een beperkt aantal (vier-zes) nieuwe interventies selecteren waarvoor uitgebreide baselinestudies zullen worden uitgevoerd, die zich lenen voor impactevaluaties met behulp van Randomised Control Trials om er lering uit te trekken, en de focus op impact op het niveau van de doelgroepen verhogen. Plaatselijke universiteiten of onderzoeksinstellingen kunnen mogelijk een positieve rol spelen.

• Goed nadenken over het juiste aantal en de verankering van technische assistenten en hun verwachte bijdrage aan duurzame resultaten.

• Nadenken over het huidige M&E-systeem en het systeem voor kapitalisatie van resultaten en wetenschappelijke ondersteuning teneinde de focus op outcomes, impact en duurzame resultaten meer op de langere termijn te kunnen richten.

Voor partnerlanden:

• De nodige aandacht besteden aan de verschillende componenten van duurzaamheid in de bilaterale beleidsdialoog, maar met name ook in de beleidsdialoog met donoren op sectorniveau, en afspraken maken over te monitoren duurzaamheidsindicatoren.

Samenvatting


• Inzetten op planning op langere termijn van steun van donoren per sector, waarbij gestreefd wordt naar een juiste balans tussen de verschillende hulpmodaliteiten en met inachtneming van exit- en transitiestrategieën van donoren.


1. Inleiding

De Dienst Bijzondere Evaluatie (DBE) van de Belgische Ontwikkelingssamenwerking heeft het partnerschap hera-ADE de opdracht verleend voor een evaluatie van de duurzaamheid van de Belgische gouvernementele samenwerking, zoals ze door de Belgische Technische Coöperatie (BTC) wordt uitgevoerd. Deze opdracht vloeit voort uit de afspraken in het derde beheerscontract tussen de Belgische Staat en BTC, waarbij BTC zich verbindt om o.a. haar medewerking te verlenen aan de jaarlijkse evaluatie door de Staat van de kwaliteit van haar prestaties op basis van een selectie van minimum tien projecten.1

Het vierde beheerscontract dat in werking is gegaan op 15 september 2014 stelt dat de kwaliteitszorg van BTC in haar activiteiten van het tweede niveau om de drie jaar zal worden geëvalueerd door de Bijzondere Evaluator.

Voor deze evaluatie is gekozen om de nadruk te leggen op de duurzaamheid van de behaalde resultaten (zie opdrachtomschrijving - Bijlage 1). Het gaat daarbij om het voortbestaan van behaalde resultaten na afloop van de interventie.

2

1. Methodologische nota

Dit is nog niet gebeurd en daarom vindt er nog een jaarlijkse evaluatie plaats conform wat bepaald is in het derde beheerscontract.

Zoals gezegd richt deze evaluatie van de Belgische gouvernementele samenwerking zich op duurzaamheid, in het bijzonder op twee partnerlanden, namelijk Benin en Bolivia. In deze twee landen heeft de Belgische gouvernementele samenwerking zich sinds 2008 geconcentreerd op twee sectoren, te weten landbouw en gezondheidszorg. Het samenwerkingsverband wordt vorm gegeven in zogenaamde Indicatieve Samenwerkingsprogramma’s (ISPs). Ook in de ISPs met beide partnerlanden die dateren van vóór 2008 nam de steun aan deze sectoren al een centrale rol in.

De evaluatie is in verschillende fasen uitgevoerd:

In de eerste fase is het evaluatiekader uitgewerkt. Op basis van relevante literatuur en interviews met betrokkenen is een selectie van tien ex-post interventies gemaakt (vier gezondheidszorginterventies en twee landbouwinterventies in Benin, twee gezondheidszorginterventies en twee landbouwinterventies in Bolivia) die het onderwerp zijn van een uitgebreide analyse en terreinbezoek. Tevens is overeengekomen dat ook enkele bevindingen met betrekking tot andere afgeronde projecten in dezelfde sectoren in de twee landen op basis van dossierstudie zouden worden meegenomen in de analyse. De algemene bevindingen op basis van de analyse van de afgeronde projecten leidt tot de formulering van lessen en aanbevelingen op het niveau van de ISPs en nog lopende projecten.

1 Artikel 17 van het derde beheerscontract tussen de Belgische Staat en BTC 2 Artikel 15.1 van het vierde beheerscontract tussen de Belgische Staat en BTC

22

2. Studierapporten voor Benin en Bolivia

De twee studierapporten bevatten de voorlopige bevindingen van de documentaire analyse en aanvullende interviews met DGD en BTC-vertegenwoordigers. Deze voorlopige bevindingen situeren de geselecteerde interventies (afgelopen en lopende) binnen de evoluerende context van het partnerland, het bilaterale samenwerkingsverband, de sectorcontext en de regionale context.

3. Landenrapporten op basis van veldbezoeken

Op basis van de veldbezoeken aan de twee landen zijn de voorlopige analyses en bevindingen in de studierapporten aangevuld en gevalideerd in de landenrapporten. De twee landenrapporten zijn opgenomen als aparte bijlagen van dit syntheserapport (Bijlage 5 en 6).

4. Syntheserapport

In dit syntheserapport zijn de belangrijkste bevindingen, conclusies en lessen van deze evaluatie naar duurzaamheid geformuleerd. Aangezien de landenrapporten in de bijlagen een integraal onderdeel vormen van dit syntheserapport, zijn niet alle bevindingen in detail herhaald.

5. Nota met methodologische lessen

Als laatste stap wordt een nota met methodologische lessen voorbereid. Deze nota is in de eerste plaats bestemd voor de Dienst Bijzondere Evaluatie en trekt op basis van deze ex-post evaluatie lessen over hoe duurzaamheid het best geëvalueerd kan worden. In die hoedanigheid is het zeker ook relevant voor BTC, als uitvoerder van de interventies van de Belgische gouvernementele ontwikkelingssamenwerking. De nota met methodologische lessen is eveneens opgenomen als bijlage 7 van het syntheserapport.

Alle rapporten zijn besproken in het begeleidingscomité, bestaande uit vertegenwoordigers van DGD en BTC. De eindversies van bovenstaande rapporten houden rekening met de opmerkingen en suggesties die door het begeleidingscomité aangeleverd zijn. In bijlage 4 zijn de namen van de leden van het begeleidingscomité opgelijst.


2. Methodologie

2.1 Doelstelling en scope van de evaluatie

De opdrachtomschrijving (Bijlage 1) geeft aan dat “leren” de hoofddoelstelling van deze evaluatie is, waarbij verantwoording nooit ver weg is aangezien het twee zijden zijn van dezelfde medaille. De focus ligt op het verbeteren van de Belgische gouvernementele ontwikkelingssamenwerking zodat “BTC en DGD lessen kunnen trekken uit het verleden om het beleid bij te sturen naar de toekomst toe.”

Gezien de nadruk op duurzaamheid, is gekozen voor een voornamelijk retrospectieve benadering en staan afgelopen interventies centraal in de analyse. Voor het lerende effect is ook gekeken naar lopende interventies. Echter om de duurzaamheid van resultaten goed te beoordelen kon de analyse zich niet beperken tot het interventieniveau, maar is ook de samenwerkingsrelatie tussen het partnerland en de Belgische Staat als donor van belang. Die samenwerkingsrelatie krijgt vorm in de ISPs, maar moet ook in de evoluerende context van het partnerland gesitueerd worden. Daarnaast is de analyse op sectorniveau, namelijk landbouw en gezondheidszorg, belangrijk. Ten slotte is er in Bolivia en Benin sprake geweest van een zekere mate van concentratie van de Belgische samenwerking in een specifieke regio en de evaluatie van duurzaamheid is dan ook gebaseerd op een regionale analyse.

Tenslotte is het de bedoeling om de bevindingen van deze evaluatie op de vier genoemde niveaus in de twee landen (interventie, regio, sector, nationaal) te verbreden naar het globale niveau van de Belgische gouvernementele samenwerking, waar mogelijk. Dit is een lastige opgave omdat de twee landen en twee sectoren niet representatief zijn voor de gehele gouvernementele samenwerking. Aan de hand van de bevindingen en conclusies van de twee landenstudies is nagegaan in hoeverre de diverse beheerscontracten de duurzaamheid van resultaten (potentieel) hebben beïnvloed. Hieruit kunnen enkele voorzichtige lessen getrokken worden.

2.2 Veranderingstheorieën

Op basis van een analyse van de ISPs is voor zowel Bolivia als Benin een veranderingstheorie opgesteld die tijdens het veldbezoek is besproken met betrokkenen. Deze veranderingstheorieën vormen de basis voor de methodologische aanpak van deze evaluatie.

In de veranderingstheorieën voor Benin en Bolivia (zie figuren 1 en 2 respectievelijk) is het volgende weergegeven:3

3 De evaluatietermen zoals hier gedefinieerd en weergegeven in de veranderingstheorieën vormen het uitgangspunt voor deze evaluatie. In de literatuur wordt soms impact als langetermijneffect gedefinieerd en in

24

- De inputs, met enerzijds de interventies (projecten, programma’s, budgetsteun) in de twee sectoren die door BTC worden uitgevoerd en anderzijds de beleidsdialoog tussen de twee landen;

- De outputs die in de twee sectoren zijn gerealiseerd;

- De outcomes die zijn gerelateerd aan de sectordoelstelling zoals weergegeven in de ISPs;

- De impact, oftewel de mate van realisatie van de overkoepelende doelstelling;

- Verder zijn de veronderstellingen die betrekking hebben op de context van het partnerland alsmede de Belgische coöperatie een essentieel onderdeel van de veranderingstheorie.

De nadruk ligt in deze evaluatie op de duurzaamheid van de outputs en outcomes en welke factoren daaraan bijgedragen hebben.

dat geval kan er overlap zijn met duurzame resultaten. In deze evaluatie is impact gerelateerd aan de overkoepelende doelstelling van de ISPs. De focus ligt op sectorniveau en impact blijft buiten beschouwing.

Methodologie


Figuur 1. Veranderingstheorie van de Belgische gouvernementele ontwikkelingssamenwerking met Benin

HYPOTHESES/RISICO’S

SAMENWERKING TUSSEN BENIN EN BELGIE

Belgische luikSectorale en geografische

concentratie van de interventies

Sectorale steunbenadering

Institutionele verankering op verschillende niveaus van de

gedeconcentreerde en gedecentraliseerde autoriteiten

Beninese luikUitvoering van de hervormingen

en operationalisering van het nationale sectorbeleid

Toeëigening van de interventies door de betrokken actoren

Budgettair beleid en steun aan de gezondheids- en landbouwsectoren

Projecten op het niveau van

gezondheids-districten,

departementale gezondheidsdirecties en op het centrale

niveau

Projecten op het niveau van de gemeenten, de

regionale actiecentra voor landelijke

ontwikkeling en op het nationale niveau

Beleidsdialoog over landbouw

Beleidsdialoog over volksgezondheid

INPUTS

OUTPUTS

Capaciteitsverster-king van de

actoren in de gezondheidspira-

mide en kwaliteits-verbetering

(aanbodzijde)

OUTPUTS

Verbetering van de

toegankelijkheid van de

gezondheids-diensten

(vraagzijde)

OUTPUTS

Capaciteitsverster-king van de

overheids- en private actoren in de landbouwsector

OUTPUTS

Productiviteits- en rentabiliteits-

verbetering van de

landbouwsector en van de

goederenstroom

OUTCOMES

Diversifiëring van de landbouwsector en waarborging van duurzame

voedselzekerheid

EXTERNE FACTOREN

LANDENCONTEXT

Sterke bevolkingsgroeien toenemende verstedelijking: opportuniteiten of bedreigingen

Economische groei die sterk afhankelijk is van externe

factoren (internationale prijzen, handelspolitiek van Nigeria)

OUTCOMES

Verbetering van de gezondheid van de bevolking door versterking van de gezondheidspiramide en van de

vraagzijde

IMPACT

Bijdrage aan de economische groei en armoedebestrijding

26

Figuur 2. Veranderingstheorie van de Belgische gouvernementele ontwikkelingssamenwerking met Bolivia

HYPOTHESES M.B.T. BOLIVIA

Implementatie van de organisatorische en institutionele structurele hervormingen van de staat.

Operationalisering van het nationale en sectorale (gezondheids- en

landbouw-) beleid.

Voldoende mate van absorptie van de financiële middelen in combinatie met voldoende financiering uit de nationale

begroting voor beide sectoren.

Eigenaarschap van de interventies van de Belgische samenwerking door

belanghebbenden in beide sectoren op nationaal of gedecentraliseerd niveau.

Interventies beantwoorden aan de behoeften van de bevolking (met

inbegrip van de inheemse bevolking) en worden verankerd in de

sociaaleconomische en culturele context.

Gezondheidsprojecten op het

operationele en centrale niveau (inclusief het programma

Desnutrición cero)

Landbouwprojecten op het

operationele en centrale niveau

Beleidsdialoog over landbouw

Beleidsdialoog over

volksgezondheid

INPUTS

OUTPUTS

Capaciteitsversterking van het beheer

van de gezondheids-

netwerken

OUTPUTS

Verbetering van de kwaliteit en

toegankelijkheid van de

eerstelijns-gezondheids-

diensten

OUTPUTS

(1) Verbetering van productieve infrastructuur

(irrigatie, behoud). (2) Producenten opgeleid in

productietechnie-ken. (3) Integraal waterbeheer en -

scheiding

OUTPUTS

(4) Capaciteitsverster

king van de publieke sector en

producenten-organisaties in

productmarketing en beheer van

natuurlijke hulpbronnen

OUTCOMES

Toename en diversificatie van de binnenlandse landbouwproductie;

commercialisering met meer toegevoegde waarde. Verduurzaming van de natuurlijke hulpbronnen in de

waterbekkens.

HYPOTHESES M.B.T. BELGIË

De Belgische samenwerking heeft een comparatief voordeel in beide

sectoren: landbouw en gezondheid.

De concentratie van deze steun in beide sectoren draagt positief bij aan

de efficiëntie en effectiviteit.

De Belgische samenwerking is gebaseerd op jarenlange ervaring in

beide sectoren wat bijdraagt aan duurzame resultaten.

Concentratie van de steun richt zich op de armste regio's van Bolivia (ten noorden van Potosi, Chuquisaca, El

Alto, Cochabamba).

Gender, milieu, kinderen zijn transversale thema’s.

De projecten worden geïntegreerd in een programmatische of sectorale

aanpak. Nadruk ligt op een passende institutionele verankering op alle

niveaus.

De Belgische ontwikkelingssamenwerking is actief in donorcoördinatie wat zich vertaalt in

een eveneens actieve sectorale dialoog.

De verdeling van verantwoordelijkheden en taken tussen de Belgische actoren in de

ontwikkelingssamenwerking is duidelijk en met een goede

uitwisseling van informatie tussen hen.

OUTCOMES

Verbetering van de gezondheid van de bevolking. Toegenomen kennis

over voedingspraktijken.

IMPACT

Bijdrage aan bestrijding van armoede en ondervoeding

Methodologie


2.3 Evaluatievragen en evaluatiematrix

In de methodologische nota zijn de volgende vijf hoofdevaluatievragen opgenomen:

1. Zijn de interventies geïdentificeerd en geformuleerd met het oog op duurzaamheid van de resultaten?

2. Wat zijn de resultaten (outputs en outcomes) van de interventies en hoe werden die resultaten gerealiseerd?

3. Zijn de resultaten duurzaam?

4. Wat zijn de externe (verbonden aan de context) en de interne (verbonden aan de Belgische gouvernementele ontwikkelingssamenwerking) factoren die positief of negatief hebben bijgedragen aan de duurzaamheid van resultaten?

5. Op welke manier zou de duurzaamheid van resultaten bevorderd kunnen worden?

Voor elk van deze hoofdvragen is een aantal sub-vragen geformuleerd die zijn weergegeven in de evaluatiematrix in Bijlage 2. In deze evaluatiematrix zijn ook indicatoren per sub-vraag opgenomen.

De opdrachtomschrijving (zie Bijlage 1) gaat uit van de OESO-DAC-definitie van duurzaamheid waarbij het gaat om het voortzetten van de resultaten van ontwikkelingsinterventies na het beëindigen van die door donoren ondersteunde interventies. Het gaat dus om het langetermijnperspectief. Aangezien veel evaluaties tijdens de looptijd van de projecten plaatsvinden, kan vaak alleen de potentiele duurzaamheid worden vastgesteld. In principe zou ‘duurzaamheid’ een dynamisch concept moeten zijn, omdat het gaat om voortzetting van resultaten in een dynamische context. In de praktijk wordt het begrip duurzaamheid vrij statisch geïnterpreteerd. De methodologische lessen op basis van literatuurstudie en deze evaluatie hoe duurzaamheid het best geëvalueerd kan worden, komen naar voren in de afzonderlijke nota met methodologische lessen (fase 5 van deze evaluatie).

Vaak wordt het begrip duurzaamheid dat één van de vijf OECD-DAC criteria is voor evaluatie van ontwikkelingssamenwerking in verband gebracht met het bredere begrip van ‘duurzame ontwikkeling’. Dit begrip is in 1987 door een VN-commissie onder leiding van Brundtland als volgt gedefinieerd: “Ontwikkeling die aansluit op de behoeften van het heden zonder het vermogen van toekomstige generaties om in hun eigen behoeften te voorzien in gevaar te brengen”. Dit begrip heeft niet expliciet betrekking op ontwikkelingssamenwerking en de resultaten daarvan. De beoordeling van duurzaamheid van ontwikkelingsresultaten past wel binnen die brede context van duurzame ontwikkeling, vanwege het lange-termijn perspectief en de focus op ecologische en sociaal-economische aspecten. Echter de twee begrippen moeten niet met elkaar verward worden.

Op basis van de literatuurstudie is een zevental aspecten van duurzaamheid onderscheiden, die in het kader van deze evaluatie beoordeeld zijn, namelijk:

1. Politieke duurzaamheid: het gaat hier om de overeenstemming van het beleid van de partnerlanden en de daadwerkelijke uitvoering van dat beleid (uitgedrukt in indicatoren zoals de verhoging van het budget gespendeerd aan gezondheid, landbouw als beleidsprioriteit, operationeel beleid) met het ontwikkelingssamenwerkingsbeleid van België. Tevens betreft het de aandacht voor de notie ‘vertrekken bij aankomst’ (exit at entry) in de ISPs en formulerings- en identificatiedocumenten;

2. Institutionele duurzaamheid is verbonden aan de capaciteit van organisaties (op verschillende niveaus: nationaal, provinciaal, departementaal en communautair) om de activiteiten verder te zetten na het vertrek van de donoren. Het gaat hier

28

met name om het verder kunnen blijven functioneren van die organisaties die de steun ontvingen na afsluiting van het project, wat betreft de (kwaliteit en kwantiteit van de) diensten die zij verlenen aan de bevolking, die doelgroep was van het project. Een belangrijk aspect is hoe de projecten aansluiten bij lokale instellingen om zo hun capaciteit te versterken in plaats van nieuwe instellingen te creëren;

3. Economische en financiële duurzaamheid op het niveau van de instellingen: het gaat hier om de financiële bijdrage van de regering en de bevolking om blijvend diensten te blijven verlenen, het opzetten van operationele systemen voor de werking en het onderhoud, en de mogelijkheden tot herinvestering;

4. Economische en financiële duurzaamheid op het niveau van de doelgroep: het gaat hier om de landbouwproductie en productiviteit alsmede de vermarkting, de prijs van de grondstoffen, de hoogte van de tarieven voor gezondheidszorg, van medicamenten, van transport, en de aanwezigheid van verzekeringssystemen in relatie tot de financiële draagkracht van de bevolking;

5. Socio-culturele duurzaamheid: het accent ligt hier op het verschil tussen de verschillende doelgroepen (differentiatie per inheemse bevolkingsgroep, geslacht, leeftijd, etc.) en de mate waarin deze groepen verder gebruik kunnen maken van de diensten en andere resultaten van de interventies;

6. Duurzaamheid op het vlak van het milieu: het gaat hier om permanente veranderingen, zowel negatief als positief, in het milieu zoals bv. de correcte verwijdering (of niet) van medisch afval voor de gezondheidssector of de verbetering van de kwaliteit van de bodem en het water voor de landbouwsector;

7. Technologische duurzaamheid: vaak introduceren interventies van de ontwikkelingssamenwerking nieuwe technieken en technologieën, waarbij het verder gebruiken en onderhouden van deze nieuwe technologieën een belangrijk duurzaamheidselement is.

De analyse van de verklarende factoren voor duurzaamheid (evaluatievraag 4) is een ander centraal element in het onderzoek. Daarbij is een onderscheid gemaakt tussen de externe factoren vooral gelieerd aan de context van het partnerland enerzijds en de aan de Belgische gouvernementele coöperatie gerelateerde factoren anderzijds. Dit betreft onder andere de veronderstellingen die weergegeven zijn in de veranderingstheorieën.

Methodologie


2.4 Evaluatiemethoden en beperkingen

De volgende evaluatiemethoden zijn gebruikt in deze evaluatie:

Figuur 1. Evaluatiemethoden

Duur-zaamheid

Interviews

Terrein-bezoeken

Work-shops & focus-

groepen

Evaluatie-matrix

Verande-rings-theorie

Verkeers-licht-

analyse

Document-studie

Het evaluatieteam heeft de volgende methoden voor dataverzameling en validatie gebruikt:

• Documentanalyse (zie Bijlage 3 voor een overzicht van de geraadpleegde literatuur maar ook de bijlagen in de beide landenrapporten);

• Interviews (zie de bijlagen in de landenrapporten voor een lijst);

• Terreinbezoeken;

• Focusgroepen en restituties aan het einde van de landenbezoeken (zie de landenrapporten).

Bij de analyse van de verzamelde gegevens zijn data gecombineerd en getrianguleerd om tot concrete bevindingen te komen, waarbij de veranderingstheorieën en de evaluatiematrix uitgangspunt voor de analyse vormden. Er is gebruik gemaakt van de methode van verkeerslichtensignalering4

4 In verschillende evaluaties, vooral ook voor het Department for International Development in het Verenigd Koninkrijk, wordt gebruik gemaakt van zogenaamde ‘traffic lights’ om de toegankelijkheid van rapporten te bevorderen en de aandacht te vestigen op positieve dan wel negatieve aspceten van de programma’s.

om aan te geven of verklarende factoren een positieve (groen) dan wel negatieve (rood) invloed, of eerder een neutrale of variabele (oranje) invloed hebben gehad op de duurzaamheid.

30

Noodzakelijkerwijs is de dataverzameling vooral gebaseerd op secundaire bronnen en is dit aangevuld met interviews met betrokkenen. Dit betekent dat de kwaliteit van de bronnen van grote invloed is op de kwaliteit van de vaststellingen in dit rapport. Het was bekend dat er weinig concrete gegevens over duurzaamheid in de documenten te vinden zijn. Dit gebrek aan gegevens kon door de specifieke focus van het onderzoek op duurzaamheid gedeeltelijk ondervangen worden. De analyse van enkele aspecten van duurzaamheid, zoals de sociaal-culturele duurzaamheid en de financieel-economische duurzaamheid op het niveau van de doelgroep, vereist echter onderzoeksgegevens op het niveau van de doelgroep die in geen van beide landen voorhanden waren. De sterke kanten van de evaluatieaanpak en de beperkingen komen meer uitgebreid aan bod in de nota met methodologische lessen.

2.5 Selectie van interventies en regio’s

Het selectieproces voor de interventies die uitgebreid zijn bestudeerd in deze evaluatie is beschreven in de methodologische nota. In de opdrachtomschrijving was al een overzicht van 14 mogelijke interventies in Benin en 10 interventies in Bolivia in de twee sectoren opgenomen, waaruit een selectie gemaakt moest worden.5

• Prioriteit voor uitgebreide analyse van afgesloten projecten;

Het evaluatieteam heeft de volgende criteria gehanteerd voor de selectie:

• Een combinatie van interventies op verschillende niveaus, d.w.z. op regionaal/ departementaal niveau en op nationaal niveau;

• Prioriteit voor projecten die in dezelfde regio zijn uitgevoerd teneinde een meer diepgaande analyse voor één regio waar de Belgische coöperatie geconcentreerd is.

Uiteindelijk zijn tien afgesloten interventies geselecteerd voor de ex-post evaluatie, zoals weergegeven in de volgende tabel. Tevens zijn via documentanalyse nog enkele relevante lessen uit zes andere afgesloten interventies in de analyse meegenomen, terwijl eveneens acht lopende projecten onder de loep zijn genomen om relevante lessen te trekken. Uiteraard kan voor de lopende projecten de duurzaamheid niet worden beoordeeld, maar is wel nagegaan in hoeverre duurzaamheid in de formulering is opgenomen en in welke mate vaststellingen en lessen uit de afgelopen interventies zijn meegenomen in deze lopende interventies.

5 Het uitgangspunt van deze evaluatie lag niet alleen op de interventies, maar op duurzame resultaten van de Belgische gouvernementele samenwerking inclusief de beleidsdialoog zoals weergegeven in de veranderingstheorie. Juist door de gekozen focus in de opdrachtomschrijving op twee dezelfde sectoren in twee verschillende landen was het mogelijk om in relatief kort tijdsbestek duurzaamheid te beoordelen en verklarende factoren te onderzoeken.

Methodologie


Tabel 1. Aantal geselecteerde projecten per sector en per partnerland

Bolivia Benin

Gezondheidszorg Landbouw Gezondheidszorg Landbouw

Afgesloten interventies voor veldbezoek

2 2 4 2

Afgesloten interventies voor documentanalyse

1 1 2 2

Lopende projecten

2 2 1 3

In Benin is de Belgische gouvernementele coöperatie in twee regio’s geconcentreerd, namelijk de departementen Atacora en Donga in het noorden en de departementen Mono en Couffo in het zuiden. De regio Atacora/Donga in het armere Noorden is geselecteerd voor het onderzoek op regionaal niveau in Benin. In Bolivia was de selectie van de regio lastiger, omdat de interventies zich niet duidelijk over een langere periode concentreerden in een afgebakend gebied. De meeste Belgische interventies hebben plaats gevonden in de departementen Cochabamba en Chuquisaca, terwijl in de aangrenzende provincie Chayanta van het département Potosi ook enkele interventies in beide sectoren zijn ondersteund. Het onderzoek op regionaal niveau heeft zich op de departementen Cochabamba en Chuquisaca en de provincie Potosi geconcentreerd.

2.6 Enkele methodologische beperkingen en uitdagingen

Het onderzoek is beperkt tot twee partnerlanden en twee sectoren die wel illustratief, maar niet representatief, voor de Belgische gouvernementele coöperatie zijn. Er is voor dit syntheserapport wel gebruik gemaakt van andere DBE-evaluaties van de Belgische gouvernementele ontwikkelingssamenwerking, maar die evaluaties waren niet specifiek op duurzaamheid gericht. Er zijn dus beperkingen voor wat betreft de mogelijkheden om bevindingen, conclusies en lessen te veralgemenen. Zo is noch Bolivia, noch Benin een fragiele staat, waar de Belgische ontwikkelingssamenwerking zich in toenemende mate op richt. In fragiele staten is duurzaamheid nog moeilijker te realiseren. In fragiele staten staat bovendien de rol van de overheid, waar de Belgische gouvernementele samenwerking zich bij uitstek op richt, meer ter discussie. Dit betekent dat de lessen en aanbevelingen uit deze evaluatie verder uitgewerkt moeten worden voor fragiele staten. Wel kan gesteld worden dat de basis van de lessen en aanbevelingen ook voor fragiele staten zou moeten gelden, maar dat bepaalde aspecten verdere uitwerking verdienen.

De beperkingen van deze evaluatie gelden ook voor de mate waarin het verband tussen de diverse beheerscontracten tussen de Belgische Staat en BTC enerzijds en de duurzaamheid van resultaten anderzijds onderzocht kan worden. Er kan immers geen directe causale relatie worden gelegd tussen de beheerscontracten en duurzaamheid op basis van de beperkte omvang van deze studie.

De landenrapporten zijn opgenomen in de bijlagen en vormen een integraal onderdeel van dit syntheserapport. Daarom komen weinig bevindingen op interventieniveau in dit syntheseverslag aan de orde, maar daarvoor wordt verwezen naar de landenrapporten zelf.

Het hiervoor beschreven analysekader bestaande uit zeven aspecten van duurzaamheid, dat ontleend is aan de literatuurstudie, bleek in de praktijk goede handvaten te bieden om duurzaamheid te analyseren. Zowel de afzonderlijke aspecten van duurzaamheid alsmede de samenhang tussen de verschillende aspecten kon voldoende aan bod komen, bijvoorbeeld tussen politieke en institutionele duurzaamheid en de financieel-economische duurzaamheid van instituties. De analyse van sociaal-culturele duurzaamheid en economische en financiële duurzaamheid op het niveau van de

32

bevolking bleek de grootste uitdaging te zijn, vooral omdat de Belgische coöperatie nauwelijks primaire gegevens op het niveau van de bevolkingsgroepen verzamelt d.m.v. surveys, maar meer uitgaat van de input van de partnerinstituties waarmee wordt samengewerkt.

Uit de nota met methodologische lessen (Bijlage 7) komt naar voren dat vanaf het begin een sterke nadruk heeft gelegen op de interventies, in lijn met de opdrachtomschrijving (zie bijlage 1). Weliswaar is in de inceptiefase via de methodologische nota ook de aandacht gericht op de samenhang van interventies van de Belgische gouvernementele coöperatie met de beleidsvoorbereiding in de ISPs en de beleidsdialoog. Toch bleef door deze opzet het accent vrij sterk op de interventies gericht, omdat het terreinbezoek vooraf werd gegaan door een studiefase gedurende welke alle projectdossiers uitgebreid werden bestudeerd. Daarmee was het risico van ‘bias’ tijdens het terreinbezoek vrij groot. Zeker omdat het over duurzaamheid gaat, zou het goed zijn om daadwerkelijk ex-post terug te kijken, en liefst ‘onbevooroordeeld’, zoals ook uit literatuuronderzoek naar voren komt (zie Bijlage 7). Door het lezen van MTRs/ETRs vormt de evaluator al een bepaald beeld, dat weliswaar wel gecorrigeerd wordt door de terreinbezoeken en verdere reflectie en analyse, maar de blik vanuit de interventies blijft dominant. In de literatuur zijn voorbeelden te vinden van afzonderlijk veld- en dossieronderzoek naar duurzaamheid van afgelopen interventies, waarbij de uitkomsten van beide onderzoeken achteraf getrianguleerd worden. Dit is een mogelijk antwoord op deze problematiek.


3. Vaststellingen en analyses

3.1 Contextanalyse

Sociaaleconomische ontwikkelingen

De twee partnerlanden, Bolivia en Benin, vertonen grote verschillen in evolutie over de afgelopen 15 jaar. Bolivia heeft zich tot een middeninkomensland ontwikkeld, terwijl Benin nog behoort bij de landen met lage inkomens. Dit wordt o.a. aangetoond door het Bruto Nationaal Inkomen (BNI). In Tabel 2 zijn enkele sociaaleconomische indicatoren voor beide landen weergegeven.

Tabel 2. Evolutie van sociaaleconomische indicatoren, Benin en Bolivia

Benin Bolivia

2000 2013 2000 2013

Indicatoren op nationaal niveau

Bevolking (miljoen) 7 10.3 8.4 10.4

Bevolkingsgroei (%) 3% 3% 2% 2%

BNI per capita (actuele US $, Atlas- methode)

360 790 990 2.620

Groei BNP (%) 5% 5% - 7%

Bevolking beneden de armoedegrens (%)

- 37% 66% 45% (2011)

Indicatoren op sectorniveau

Levensverwachting (jaren) 55 59 63 67

Uitgaven gezondheidszorg (% BNP)

4.3% 4.6% - 6%

Aandeel van landbouw in BNP (%) 35% 37% 15% 13%

Bron: http://data.worldbank.org/country (online geraadpleegd op 25 september 2015).

De bevolking van beide landen is vergelijkbaar, maar Benin vertoont een aanzienlijk hogere bevolkingsgroei dan Bolivia. De stijging van het BNP in Benin was nooit hoger dan 5% per jaar, terwijl in de periode 2009-2011 die stijging niet meer dan 3% bedroeg, d.w.z. gelijk aan de groei van de bevolking. Dit betekent dat de stijging van het inkomensniveau in Benin relatief beperkt is gebleven. De groei van het BNP in Bolivia was met uitzondering van de jaren 2009 en 2010 steeds 5% of hoger. Het aandeel van de bevolking dat beneden de armoedegrens leeft is moeilijk met elkaar vergelijkbaar, omdat de indicatoren niet gelijk zijn. Wel valt op dat een aanzienlijk percentage van de bevolking van Bolivia in 2011 nog beneden de armoedegrens leeft (45%), volgens de door de Wereldbank gehanteerde definitie.

http://data.worldbank.org/country�

34

De verschillen in macro-indicatoren worden ook weerspiegeld in de verschillen op sectorniveau tussen beide landen. Het aandeel van de uitgaven voor gezondheidszorg in het BNP van Benin blijft achter bij de overeengekomen norm voor Afrika6

Politiek-institutionele ontwikkelingen

, en ook gezondheidsindicatoren blijven achter. In Bolivia daarentegen is er sprake van vermindering van ondervoeding bij kinderen, vermindering van de kindersterfte en de sterfte van moeders bij geboortes. De gezondheidsindicatoren voor Bolivia blijven, ondanks gestage verbetering, wel nog achter in vergelijking met de meeste omringende Zuid-Amerikaanse landen. Op landbouwgebied is er ook sprake van een toename van productie in Bolivia. In Benin zijn de indicatoren voor landbouw en gezondheid ook verbeterd, maar de positieve evolutie is minder sterk dan in Bolivia en ook hebben zich meer fluctuaties voorgedaan de laatste tien jaar.

In beide landen hebben zich belangrijke politieke ontwikkelingen voorgedaan, die uitgebreid zijn beschreven in de landenrapporten. Al vanaf 1994 is in Bolivia een decentralisatiebeleid doorgevoerd waarbij departementen, provincies en gemeentes verantwoordelijkheid hebben voor de uitvoering en coördinatie van bepaalde taken en waarvoor ook budgetten ter beschikking gesteld zijn. Met het aantreden van de regering Morales in januari 2006 zijn ook belangrijke politieke hervormingen doorgevoerd die in een nieuwe Grondwet zijn vastgelegd. De hervormingen zijn tevens gebaseerd op belangrijke concepten zoals ‘Vivir bién’ (goed te leven) en ‘soberanía’ (soevereiniteit), waarbij de aandacht uitgaat naar de culturele diversiteit van de bevolking.

Ook in Benin is het algemene en het sectorbeleid aanzienlijk gewijzigd. Zowel voor gezondheidszorg als voor landbouw zijn nieuwe sectorstrategieën ontwikkeld. Ook is er een decentralisatiebeleid. Het grote probleem voor Benin is de gebrekkige uitvoering van het beleid op allerlei terreinen, inclusief decentralisatie, gezondheidszorg en landbouw. Die gebrekkige uitvoering hangt enerzijds samen met zwakke instituties, maar anderzijds met zwak politiek leiderschap.

Rol van donoren

Zoals te verwachten is de rol van donoren in Benin groter dan in Bolivia. In Benin is de hulpafhankelijkheid redelijk groot. De donorsteun bestaat echter vrijwel uitsluitend uit projectsteun en er zijn weinig nieuwe hulpmodaliteiten. De beleidsdialoog tussen de overheid en donoren komt niet goed van de grond, ondanks het feit dat de structuren voor overleg tussen de overheid van Benin en de donoren wel aanwezig zijn. De Beninese afhankelijkheid van externe steun is de afgelopen jaren nauwelijks gewijzigd. De buitenlandse steun aan Bolivia is de afgelopen jaren echter snel afgenomen, wat in lijn is met de middeninkomensstatus. Veel bilaterale donoren zoals Nederland hebben reeds hun steun beëindigd of zijn van plan om dat binnen afzienbare tijd te doen. België hoort bij die laatste groep. De Boliviaanse regering houdt in het licht van de nationale soevereiniteit het beleidsoverleg met donoren graag beperkt tot concrete onderwerpen.

6 Zie Verklaring van Abuja waarin Afrikaanse landen zich engageren om minstens 15% van het nationale budget aan gezondheidszorg te besteden.

Vaststellingen en analyses


3.2 De Belgische gouvernementele coöperatie in Bolivia en Benin

De Belgische coöperatie met partnerlanden wordt vormgegeven in zogenaamde Indicatieve Samenwerkingsprogramma’s, in principe voor een periode van vier jaar. In gezamenlijke vergaderingen, zogenaamde Gemengde Commissies, bespreken beide landen de hoofdlijnen van het beleid. In de ISPs worden de sectoren van samenwerking vastgelegd, alsmede de transversale thema’s en de geografische focus. In de ISP komt zowel de directe bilaterale (d.w.z. gouvernementele) Belgische ontwikkelingssamenwerking als de indirecte coöperatie aan de orde. Voor de uitvoering van elke ISP stelt België een budget beschikbaar. BTC is verantwoordelijk voor de uitvoering van de directe bilaterale ontwikkelingssamenwerking volgens de afspraken die in de beheerscontracten tussen de Belgische Staat en BTC zijn vastgelegd. Er zijn tot op heden vier beheerscontracten geweest:

1. Eerste beheerscontract van april 1999 tot oktober 2002;

2. Tweede beheerscontract van oktober 2002 tot mei 2006;

3. Derde beheerscontract van mei 2006 tot september 2014;

4. Vierde beheerscontract van september 2014 tot heden.

De verschillen tussen de beheerscontracten, voor zover die van invloed kunnen zijn geweest op de duurzaamheid van resultaten, komen in paragraaf 3.7 aan bod.

Voor Benin zijn er sinds 2000 vier ISPs geweest en voor Bolivia drie, zoals weergegeven in tabel 3. In de Belgische samenwerking met Bolivia deden zich problemen voor in de periode 2000-2007, die tot uiting kwamen in meerdere verlengingen voor de ISP 2000-2003, waarna pas in 2008 een nieuw ISP tot uitvoering kwam. Die problemen zijn goed gedocumenteerd in de evaluatie van de samenwerking tussen België en Bolivia voor de periode 1992-2004.7

Tabel 3. Indicatieve Samenwerkingsprogramma’s (ISPs) met Benin en Bolivia, 1998-2017

Jaar 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17

Benin:

Budget (miljoen €

sectoren

ISP 1998-2003 ISP 2004-2007 ISP 2008-2011 Ext ISP 2013-2017

25 30 52 55

Gezondheidszorg, rurale ontwikkeling, onderwijs, maatschappijopbouw

Landbouw/voedsel-zekerheid, gezondheidszorg, justitie en decentralisatie

Landbouw, gezondheidszorg

Landbouw, gezondheidszorg

Bolivia

Budget (miljoen €)

Sectoren

96-98 ICP 2000-2003 Ext ICP 2008-2011 Ext ICP 14-16

30 40 15

Gezondheidszorg, rurale ontwikkeling, stedelijke ontwikkeling

Gezondheidszorg, landbouw (irrigatie)

Water en milieu (irrigatie)

7 DBE, South Research, CEP, SAX, Licht en schaduw op de samenwerking tussen België en Bolivia 1992-2004. Lessen voor de toekomst, 2005.

36

Indicatieve samenwerkingsprogramma’s met Benin

De belangrijkste kenmerken en trends van de ISPs met Benin zijn:

• Een verdubbeling van het budget van de ISP 1998-2003 naar de ISP 2008-2011 en daarna stabilisering in de ISP 2013-2017;

• Een vermindering van het aantal sectoren in de ISP 2008-2011 naar twee sectoren, namelijk landbouw en gezondheidszorg, hetgeen in lijn is met het Belgische beleid voor partnerlanden;

• Een continue ondersteuning van de landbouw- en gezondheidszorgsectoren sinds het einde van de jaren 90;

• Een continue geografische focus op twee departementen sinds het einde van de jaren 90, namelijk Atacora/Donga in het Noorden en Mono/Couffo in het Zuiden;

• Vanaf de ISP 2008-2011 is er naast de focus op de twee departementen, eveneens een exclusieve focus op ondersteuning op nationaal niveau in de sectoren landbouw en gezondheidszorg.

In de volgende tabel is de relatie tussen de ISPs en de gezondheidszorgprojecten weergegeven:

Tabel 4. Gezondheidszorgprojecten Benin in relatie tot de ISPs

ISPs ISP 1998-2003 ISP 2004-2007 ISP 2008-2011/2012 ISP 2013-2017

Start in 2003 PAZS-Bassila In uitvoering Afgerond in 2008

PAZS-KTL Start in 2003 In uitvoering Afgerond in 2008

PAZS-Comé II

Start in 2008 Afgerond in 2010

PASTAM Start in 2006 Afgerond in 2009

PARZDS


AIMS


PASS Sourou

Start in 2014°

° Officiële start was op 19 maart 2015.

Projecten in blauw betreffen interventies in de gezondheidsdistricten, terwijl in wit weergegeven projecten (tevens) een nationale component bevatten.

Schuingedrukte en onderstreepte

De Belgische ondersteuning aan de gezondheidszorg in Benin vertoont in de loop van de te evalueren periode een geleidelijke opschaling van lokaal niveau (gezondheidsdistrict) naar departementaal en nationaal niveau, zonder dat de ondersteuning op lokaal niveau uit het oog verloren is. De eerste vier projecten (in rode letters weergegeven) concentreerden zich op de verbetering van de gezondheidszorg in de twee genoemde departementen en vooral op specifieke zones binnen deze departementen. Dit blijkt uit de benaming, namelijk ondersteuningsproject van het gezondheidsdistrict x, y en z (Projet d’Appui au Zone Sanitaire-PAZS). Er was één project in een district in het Noorden in het departement Donga, namelijk Bassila, en twee in het zuiden, in de departementen Mono (district Comé) en in Couffo (district KTL). Het project PASTAM richtte zich specifiek op verbetering van de bloedtransfusie in de beide departementen Atacora/Donga en Mono/Couffo (Projet d’Amélioration de la sécurité transfusionnelle dans les départements de l'Atacora, de la Donga, du Mono et du Couffo). In lijn met de ISP 2008-2011 is in 2009 een project op nationaal niveau gestart ter ondersteuning van het ministerie van gezondheidszorg, nl. AIMS (Projet d'Appui Institutionnel au Ministère de la Santé). In 2010 is de ondersteuning van de gezondheidszorg in de ondersteunde departementen en districten samengevoegd in één project, namelijk PARZDS (Projet d'Appui au Renforcement des Zones et Départements Sanitaires du Mono/Couffo et de

projecten zijn afgeronde projecten die tijdens het veldwerk zijn bezocht en geanalyseerd.



l'Atacora/Donga). In 2015 is een nieuw project gestart dat de ondersteuning van de gezondheidszorg op nationaal niveau en in beide departement combineert: PASS Sourou (Programme d'Appui au Secteur de la Santé).

Voor de ondersteuning van de landbouwsector is eveneens sprake van een dergelijke opschaling, maar deze kende tevens een aanzienlijke vertraging, met name voor wat betreft de ISP 2004-2007, zoals duidelijk wordt uit de volgende tabel.

Tabel 5. Landbouwprojecten Benin in relatie tot de ISPs

ISPs ISP 1998-2003 ISP 2004-2007 ISP 2008-2011/2012

ISP 2013-2017

PAMR-MONO Start in 2001 Afgerond in 2003

PAMRAD Start in 2003 In uitvoering Afgerond in 2010

AIMAEP I


FAFA-MONO

Start in 2008 In uitvoering Afgerond in 2013

FAFA-AD

Start in 2009 Afronding in 2015

FAIA

Start in 2011 Afronding in 2015

AIMAEP II

Start in 2014

Projecten in blauw betreffen interventies in de departementen, terwijl in wit weergegeven projecten (tevens) een nationale component bevatten.


Indicatieve samenwerkingsprogramma’s met Bolivia


Naast de opschaling naar nationaal niveau is er tevens sprake van een meer specifieke focus op landbouw, terwijl aanvankelijk de aandacht meer uitging naar brede rurale ontwikkeling. De twee projecten PAMR (Projet d’Appui au Monde Rural) richtten zich op rurale ontwikkeling in respectievelijk Mono en Atacora/Donga. De twee FAFA (Facilité d'Appui aux Filières Agricoles) projecten vormden het meer specifiek op landbouw gerichte vervolg van deze projecten in beide departementen. Die twee projecten zijn weer opgevolgd door een gecombineerd project op het niveau van de twee departementen, namelijk FAIA (Facilité d'Appui aux Investissements Agricoles dans les départements du Mono/Couffo, de l'Atacora/Donga). Het project AIMAEP (Appui Institutionnel au Ministère de l'Agriculture de l'Elevage et de la Pêche) vormde het nationale complement daarvan in twee achtereenvolgende fases.

De belangrijkste kenmerken en trends van de ISPs met Bolivia zijn:

• Na problemen in de samenwerkingsrelatie in de periode vanaf 2000 die leidden tot vertraging in de uitvoering, was het jaarlijkse budget van het ISP 2008-2011 € 10 miljoen per jaar en dat werd gehalveerd naar € 5 miljoen voor het ISP 2014-2016;

• België ondersteunt de sectoren gezondheidszorg en landbouw, met name irrigatie, al sinds de jaren 90. In het ISP 2014-2016 zijn geen nieuwe engagementen voor gezondheidszorg voorzien, maar gezondheidszorginterventies die onder het ISP 2008-2011 overeen zijn gekomen, worden verder uitgevoerd;

• Terwijl vóór 2000 de projecten geconcentreerd waren in Cochabamba en Santa Cruz, werd in het ISP 2000-2003 besloten de ondersteuning aan die regio’s af te bouwen en de Belgische samenwerking te concentreren in armere gebieden, met name in Chuquisaca en Potosi voor wat betreft rurale ontwikkeling en in El Alto voor de stedelijke ontwikkeling. Dit was bedoeld als een radicale verandering. In het ISP 2008-2014 is de regio waar de Belgische coöperatie is geconcentreerd weer verder verbreed naar Cochabamba;

38

• Het ISP 2014-2016 is geformuleerd als een transitieprogramma met een looptijd van 3 jaren, waarna de Belgische ontwikkelingshulp onderdeel zou worden van een gezamenlijk EU-ondersteuningsprogramma. Zo’n gezamenlijk EU-programma is echter nooit tot stand gekomen. Inmiddels is besloten om de Belgische gouvernementele samenwerking met Bolivia te beëindigen per 30 juni 2019. Dit zal echter pas het geval zijn nadat alle verplichtingen overeengekomen in de ISPs zijn nagekomen. Een exit/transitiestrategie is in voorbereiding vanaf juni 2015 toen het Belgische besluit is meegedeeld aan de Boliviaanse overheid.

In de volgende tabel is de relatie tussen de ISPs voor Bolivia en de gezondheidszorgprojecten weergegeven.

Tabel 6. Gezondheidszorgprojecten Bolivia in relatie tot de ISPs

ISPs ISP 2000-2003/2007

ISP 2008-2011/2013 ISP 2014-2016

El Alto Start in 2006 Afgerond in 2011

Start in 2005 Chayanta Salud Afgerond in 2011

Desnutrición cero I


Desnutrición cero II Start in 2014

FOREDES Start in 2011 Afronding in 2016

Projecten in blauw betreffen interventies in de departementen, terwijl projecten in wit weergegeven (tevens) een nationale component bevatten.


Tabel 7. Landbouwprojecten Bolivia in relatie tot de ISPs


Voor 2000 was de Belgische ondersteuning van de gezondheidszorg In Bolivia geconcentreerd in Santa Cruz en in mindere mate in Cochabamba. Daarbij ging de aandacht enerzijds uit naar versterking van de lokale gezondheidszorg en anderzijds naar onderzoek van tropische ziektes. Met de ISP 2000-2003 werd die focus afgebouwd en werd besloten tot versterking van gezondheidszorgsystemen in de provincie Chayanta (rurale ontwikkeling) en in El Alto voor de stedelijke ontwikkeling. Beide projecten startten met aanzienlijke vertraging en werden niet verdergezet. In de ISP 2008-2011 wijzigde de strategie weer. Er was geen sprake meer van regionale concentratie. Het nationale ondervoedingsprogramma Desnutrición cero werd ondersteund met budgetsteun (basket funding) en aanvullende technische assistentie. Verder startte in 2011 een project FOREDES (Fortalecimiento de Redes de Salud en la provincia en Chuquisaca, Potosí, Cochabamba y La Paz) ter versterking van de actoren in de gezondheidszorg.

In de volgende tabel is de relatie tussen de ISPs met Bolivia en de landbouwprojecten weergegeven.

ISPs ISP 1996-98/2000 ISP 2000-2003/07 ISP 2008-2011/13 ISP 2014-2016/19

PROMIC Start in 1999 In uitvoering Afgerond in 2010

Chayanta AP Start in 2005 Afgerond in 2012

PROCAPAS Start in 2005 Afgerond in 2012

PARC Start in 2010 Afronding in 2016

PROAGRIF Start in 2014

Projecten in blauw betreffen interventies in de departementen, terwijl projecten in wit weergegeven (tevens) een nationale component bevatten.





Vóór de ISP 2000-2003 ondersteunde België landbouwinterventies in Santa Cruz en ook een bosbouwproject, die in deze evaluatie niet zijn bestudeerd. In 1991 startte de Zwitserse coöperatie met de ondersteuning van lokale irrigatiesystemen in Cochabamba via het project PROMIC (Proyecto Manejo Integral de Cuencas). België besloot in de ISP 1996-1998 dit project ook te ondersteunen. De ondersteuning van irrigatiesystemen in Cochabamba en ook in Chuquisaca is voorgezet – op indirecte wijze – via de projecten PROCAPAS (Programa de Cadenas Productivas Agrícolas Sostenibles en la provincia Oropeza) en PARC (Proyecto de Apoyo al Riego Comunitario) naar PROAGRIF (Proyecto de Apoyo a la Agricultura Familiar), waar ook een nationale component aan verbonden is. Het project Chayanta AP is een afzonderlijk landbouwproject van het ISP 2000-2003 waarbij de focus op de arme rurale provincie Chayanta werd gelegd.

3.3 Bevindingen met betrekking tot de gezondheidszorgsector

In deze en volgende paragraaf worden kort de belangrijkste bevindingen geschetst voor de sector gezondheidszorg in Benin en Bolivia op basis van de eerste twee evaluatievragen. De eerste vraag is in hoeverre de interventies geïdentificeerd en geformuleerd zijn rekening houdend met de duurzaamheid van resultaten. De tweede vraag betreft de realisatie van outputs en outcomes. Voor de uitgebreide weergave van de bevindingen op interventieniveau wordt wederom verwezen naar de twee landenrapporten in de bijlagen. Aangezien de bevindingen gebaseerd zijn op onderzoek van geselecteerde interventies presenteren we kort de hoofdkenmerken van deze interventies in beide landen in tabel 8.

40

Tabel 8. Kenmerken en bevindingen van geselecteerde afgelopen interventies in de gezondheidszorgsector in Benin en Bolivia

Land Benin Bolivia

Project PAZS-Bassila PASTAM PARZDS AIMS Chayanta Salud Desnutrición cero I

Volledige naam

Projet d’Appui à la Zone Sanitaire de Bassila

Projet d’Amélioration de la Sécurité Transfusionnelle dans les départements de l'Atacora, de la Donga, du Mono et du Couffo

Projet d'Appui au renforcement des Zones et Départements sanitaires du Mono/Couffo et de l'Atacora/Donga

Projet d’Appui Institutionnel au Ministère de la Santé

Sistema integrado de salud en la provincia de Chayanta del Departamento de Potosí

Financiamiento de un fondo canasta para la implementación del Programa de desnutrición cero

Budget België € 2.8 miljoen € 2 miljoen € 14.3 miljoen € 5.1 miljoen € 5.8 miljoen € 10.6 miljoen Periode van uitvoering

62 maanden (5- 2003/6- 2008)

39 maanden (5- 2006/7-2009)

57 maanden (1-2010/9- 2014)

68 maanden (1-2009/9-2014)

73 maanden (9-2005/10-2011)

36 maanden (2010-2013)

Doelstelling Verbeteren van de gezondheidszorg in Bassila (ZS)

Verbetering van bloedtransfusie in 2 departementen

Verbetering van de toegang tot gezondheidszorg vooral voor de zwakste bevolkingsgroepen

Verbetering van de capaciteit van het Ministerie van Gezondheidszorg op het gebied van planning, coördinatie, M&E

Verbeteren van de gezondheidszorg in Chayanta

Bijdragen aan het vermijden van ondervoeding bij kinderen jonger dan 2 jaar

Uitvoerings-niveau

1 gezondheidszone

2 departementen 2 departementen Nationaal 1 provincie Nationaal

Uitvoerings-modaliteit

Regie en medebeheer

Regie en medebeheer

Regie en medebeheer Regie en medebeheer

Regie en medebeheer

Basket fund en regie (TA)

Kwaliteit van identificatie en formulering

Voldoende kwaliteit

Voldoende kwaliteit Voldoende kwaliteit Voldoende kwaliteit

Voldoende beschrijving, maar onvoldoende institutionele analyse

Voldoende kwaliteit met aandacht voor duurzaamheid

Behaalde outputs

Versterkte capaciteit van de actoren op lokaal niveau en verbetering van de toegang tot gezondheidszorg in Bassila

Versterkte capaciteit op het gebied van bloedtransfusie van de actoren in 2 departementen mede m.b.v. adequate technische verbeteringen Ontwikkeling van

Versterkte kwaliteit van de gezondheidszorg in de 2 departementen Introductie van een Resultaatgericht financieringssysteem Verbeterde vraagzijde door

Versterkte systemen en procedures in het ministerie

Constructie van nieuwe gezondheidscentra met instrumenten en systemen, training van gezondheidswerkers en betrokkenheid van gemeenten en

Versterkte van de rol van gemeentes in uitvoering ondervoedingsprogramma, verbeterde van de kennis op het gebied van voeding van kinderen bij de bevolking



Land Benin Bolivia

Project PAZS-Bassila PASTAM PARZDS AIMS Chayanta Salud Desnutrición cero I

een nationaal plan inkomensgenererende activiteiten

bevolking bij beheer

Outcomes (gerealiseerd)

Verbeterde belangrijke indicatoren (bv aantal bevallingen, vaccinatiegraad)

Verbeterde indicatoren m.b.t. bloedtransfusie

Verbeterde belangrijke indicatoren (bv aantal bevallingen, vaccinatiegraad)

? (Vooral outputs)

Verbeterde toegang tot gezondheidszorg en verbetering van gebruik van gezondheidsdiensten

Structurele vermindering van ondervoeding bij kinderen < 2 jaar

Effectiviteit Effectief project dat het grootste gedeelte van de geplande outputs en outcomes heeft gerealiseerd

Effectief project dat het grootste gedeelte van de geplande outputs en outcomes heeft gerealiseerd

Effectief project dat het grootste gedeelte van de geplande outputs en outcomes heeft gerealiseerd

Beperkt effectief project, omdat niet duidelijk is of de geplande outcomes daadwerkelijk gerealiseerd zijn

Beperkt effectief project dat een deel van de geplande outputs en outcomes heeft gerealiseerd

Effectief programma dat het grootste gedeelte van de geplande outputs en outcomes heeft gerealiseerd

Opmerkingen Op tijd uitgevoerd project met weinig problemen, maar beperkte aandacht voor duurzaamheid

Op tijd uitgevoerd project met weinig problemen, maar beperkte aandacht voor duurzaamheid

Project met een jaar vertraging in uitvoering, focus op verbetering van gezondheidszorg op verschillende niveaus en een eerste link naar nationaal niveau

Project op niveau van ministerie om capaciteit te versterken, soft approach, bijna 2 jaar vertraging in uitvoering

Project met vertraging geformuleerd dat ook traag op gang kwam (>1 jaar), vooral focus op hardware

Nationaal programma gefinancierd door 3 donoren dat in die periode goed functioneerde met aandacht voor duurzaamheid

42

De ondersteunde gezondheidszorginterventies in Benin en Bolivia vertonen onderling grote verschillen en daarom is het moeilijk om algemene conclusies te trekken. Terwijl de kwaliteit van de identificatie en formulering van de interventies in Benin in het algemeen als redelijk goed wordt beoordeeld, met een goede analyse van de context en politiek-institutionele factoren, is dat niet het geval voor de projecten ter ondersteuning van de lokale gezondheidsdiensten in Bolivia, in het bijzonder voor het Chayanta project. Daarentegen is de formulering van het nationale ondervoedingsprogramma Desnutrición cero wel goed, met oog voor duurzaamheid. Ondanks de relatief goede kwaliteit van de formuleringen van de interventies is de aandacht voor duurzame resultaten en overdracht aan lokale instituties in het geval van Benin beperkt.

Wat betreft de resultaten zijn de outputs redelijk goed gedocumenteerd in termen van verbeterde gezondheidsposten en ziekenhuizen, aantal getrainde personeelsleden en levering van nieuw (medisch) materiaal. Het is aanzienlijk lastiger om informatie over outcomes te vinden. Toch tonen de statistieken in Benin en Bolivia aan dat er verbetering van de gezondheidszorgindicatoren is voor de geografische regio’s waar België de ondersteuning concentreerde ten opzichte van andere geografische regio’s. Er is een groot verschil voor wat betreft de beoordeling van de effectiviteit van de geselecteerde interventies op het moment dat deze afgelopen waren: drie van de vier geselecteerde gezondheidsinterventies in Benin zijn als redelijk effectief beoordeeld aangezien het merendeel van de geplande outputs en outcomes is gerealiseerd. Dit geldt ook voor het door België ondersteunde nationale ondervoedingsprogramma in Bolivia. Twee van de zes geselecteerde gezondheidsinterventies – één in Benin en één in Bolivia – zijn als minder effectief beoordeeld.

Ondanks door de interventies gerealiseerde outputs en outcomes blijven in Benin de prestaties van de gezondheidszorg toch behoorlijk achter op de beoogde nationale doelstellingen. Daardoor kan niet vastgesteld worden dat de nationale systemen mede als gevolg van de Belgische ondersteuning beter functioneren. In Bolivia daarentegen is wel sprake van een algemene verbetering van de gezondheidsindicatoren en in het bijzonder voor wat betreft de vermindering van ondervoeding bij kinderen jonger dan 2 jaar. Echter ook hier stelt zich de vraag in hoeverre de verbetering het resultaat is van de algemene verbeteringen in de sociaaleconomische situatie en/of de verbeteringen gerelateerd kunnen worden aan de Belgische steun. De vragen met betrekking tot duurzaamheid die hierna aan de orde komen, zijn hier eveneens aan gerelateerd.

3.4 Bevindingen met betrekking tot de landbouwsector

In deze paragraaf worden kort de belangrijkste bevindingen voor de landbouwsector voor Benin en Bolivia gepresenteerd die gerelateerd zijn aan de eerste twee evaluatievragen. De hoofdkenmerken van de interventies en de belangrijkste bevindingen voor de geselecteerde landbouwinterventies in beide landen worden gepresenteerd in tabel 9.

Het oordeel over de kwaliteit van de formulering van de twee landbouwprojecten in Benin en de twee landbouwprojecten in Bolivia is grotendeels negatief, omdat noch de productie- en marketingsystemen voldoende zijn onderzocht, noch de politiek-institutionele factoren voldoende in ogenschouw zijn genomen. Slechts één landbouwproject in Benin had een formulering van voldoende kwaliteit. Voor alle vier geanalyseerde landbouwinterventies geldt dat onvoldoende aandacht aan duurzaamheid en overdracht van activiteiten is besteed.

Op het gebied van outputs zijn de resultaten van de projecten in Benin en Bolivia redelijk met elkaar vergelijkbaar, hoewel de productiesystemen verschillend zijn. De outputs betreffen grotendeels de introductie van nieuwe gewassen en van nieuwe landbouwmethoden. In Benin zijn er ook outputs die betrekking hebben op de versterkte capaciteit van het Ministerie van Landbouw en van de landbouwondersteunende diensten, terwijl in Bolivia verbetering van irrigatiesystemen ook een belangrijke output is. De outcomes in Bolivia betreffen de verbeterde productie van enkele gewassen zoals


De tijd tikt. Wat na afloop van onze ontwikkelingssamenwerking? 43

perziken en tuinbouwproducten en een verbeterde marketing. In Benin hebben de outcomes vooral betrekking op verbeterde organisaties van producenten van specifieke gewassen zoals cashew, rijst en tuinbouw die profijt hebben van de verbeterde dienstverlening door de overheid. Voor alle vier de landbouwprojecten in beide landen geldt echter dat ze niet als effectief beoordeeld worden, omdat in alle gevallen de geplande outputs en outcomes achter zijn gebleven bij de verwachtingen. In beide landen en in de regio’s waar de Belgische coöperatie actief was is er sprake van verhoging van de landbouwproductie. Het lijkt plausibel dat de Belgische coöperatie, ondanks de tegenvallende effectiviteit van de landbouwinterventies, een kleine indirecte bijdrage heeft geleverd aan de beperkt positieve landbouwdynamiek in deze regio’s.

Dit is vrij opmerkelijk, omdat bij beëindiging van de projecten in Bolivia het aanvankelijke beeld behoorlijk negatief was. Echter na afronding van de projecten zijn de activiteiten voortgezet, soms door andere donoren en soms ook direct door Boliviaanse gemeenten, en heeft dit tot enkele positieve resultaten geleid. In Benin heeft België zelf de projecten voortgezet, waarbij de aanpak deels is gewijzigd. Een redelijk groot verschil is dat België zich in Bolivia meer direct op de ondersteuning van producentengroepen heeft gericht, terwijl in Benin de focus geleidelijk meer verschoven is naar ondersteuning van de overheid. Welke uitwerking dit heeft gehad op de duurzaamheid komt hierna aan de orde.

44

Tabel 9. Kenmerken en bevindingen van geselecteerde afgelopen interventies in de landbouwsector in Benin en Bolivia

Land Benin Bolivia

Project PAMRAD AIMAEP I Chayanta AP PROCAPAS

Volledige naam Projet d’Appui au Monde Rural dans l’Atacora/Donga

Appui Institutionnel au Ministère de l’Agriculture de l’Élevage et de la Pêche

Proyecto de Desarrollo Agropecuario sostenible para la Provincia Chayanta

Programa de Cadenas Productivas Agrícolas Sostenibles en la Provincia Oropeza

Budget België € 5.6 miljoen € 4.9 miljoen € 4.6 miljoen € 5 miljoen Periode 85 maanden

6-2003/7-2010 61 maanden 9-2009/10-2014

78 maanden 11-2005/4-2012

60 maanden 9-2009/2013

Doelstelling Duurzame verbetering van de voedselzekerheid en inkomsten van rurale families

Verbetering van de organisatorische, technische en administratieve capaciteit van het Ministerie

Verbetering van de veeteelt en fruitproductie van mannen en vrouwen in Chayanta

Verbetering van de tuinbouw en marketing van producten van kleine boeren

Uitvoerings-niveau

2 departementen Nationaal niveau 1 provincie 1 provincie

Uitvoerings-modaliteit

Regie en medebeheer Regie en medebeheer Medebeheer Medebeheer

Kwaliteit van identificatie en formulering

Onvoldoende kwaliteit en analyse

Voldoende kwaliteit Onvoldoende kwaliteit en analyse

Onvoldoende analyse van productiesystemen en politiek-institutionele factoren

Behaalde outputs

Tests van nieuwe gewassen, introductie van nieuwe marketingmethoden, introductie van machines, bijdrage aan formulering nationaal landbouwplan

Versterkte systemen en procedures in het ministerie en van de landbouwondersteunende diensten op decentraal niveau

Introductie perziken, introductie andere zaden en bestrijding van ziektes, verbetering van lamateelt en verbetering van marketing

Verbeterde irrigatiesystemen, introductie nieuwe gewassen, verbeterde landbewerking, verbeterde bestrijding van ziektes,

Outcomes gerealiseerd

Versterkte producentenorganisaties op het gebied van cashew, rijst en tuinbouw

? (Vooral outputs)

Verbeterde perzikproductie en marketing Beperkte verbetering lamateelt

Verhoogde productie van fruit en groenten en verbeterde tuinbouwtechnieken

Effectiviteit Beperkt effectief project, omdat niet duidelijk is in welke mate de geplande outcomes daadwerkelijk gerealiseerd zijn

Beperkt effectief project, omdat niet duidelijk is in welke mate de geplande outcomes daadwerkelijk gerealiseerd zijn

Beperkt effectief project dat slechts een deel van de geplande outputs en outcomes heeft gerealiseerd

Beperkt effectief project dat slechts een deel van de geplande outputs en outcomes heeft gerealiseerd

Opmerkingen Weinig effectief project met aanzienlijke vertraging in de uitvoering (> 2 jaar) en weinig oog voor duurzaamheid

Project op niveau van ministerie om capaciteit te versterken, soft approach

Project met veel vertraging in formulering en uitvoering, bij afloop geen resultaat, perzikteelt toch positief

Project met aanzienlijke vertraging in voorbereiding en uitvoering, maar toch leidde tot redelijke resultaten


3.5 Analyse van de duurzaamheid

Politieke duurzaamheid

Voor alle interventies geldt dat ze, conform de uitgangspunten in de ISPs, goed aansluiten bij het nationale beleid en de nationale strategieën voor zowel gezondheidszorg als landbouw in beide landen. Tevens sluiten de interventies goed aan bij het Belgische beleid. Niet alleen is daarmee de beoordeling van de relevantie op deze punten positief, maar daarmee is ook voldaan aan een belangrijke voorwaarde voor politieke duurzaamheid. Er worden immers geen belangrijke beleidswijzigingen verwacht die de verhoopte duurzaamheid van resultaten kunnen aantasten. De Belgische interventies hebben ook direct of indirect bijgedragen aan de formulering van nationale beleidsdocumenten of –strategieën, zoals in het geval van de aanpak van bloedtransfusie in Benin en het irrigatiebeleid in Bolivia.

Dit zijn echter niet alle relevante factoren voor wat betreft de politieke duurzaamheid. Eerdere evaluaties van de kwaliteit van de prestaties van BTC (2008 en 2010) beoordeelden de politieke duurzaamheid als goed vanwege de overeenkomsten in beleid, maar deze analyse gaat niet ver genoeg. Het gaat juist ook om de effectieve uitvoering van het geformuleerde beleid. Op dit gebied is er een groot verschil tussen Bolivia en Benin, waar Benin in de beleidsuitvoering grote tekortkomingen vertoont. Hervormingen blijven achter en in beide sectoren in Benin is er sprake van gebrek aan leiderschap. Dit komt o.a. tot uiting in gebrekkige coördinatie binnen en tussen de overheidsstructuren en een groeiend gebrek aan vertrouwen van de bevolking in de overheid.8

8 Zie bijvoorbeeld ‘Indice 2014 Mo-Ibrahim/Bonne gouvernance: Le Bénin perd 5 places’, http://blogforever.mondoblog.org/2014/10/01/indice-2014-mo-ibrahimbonne-gouvernance-benin

Hoewel de structuren en mechanismes voor een beleidsdialoog, zowel bilateraal als op sectorniveau met verschillende donoren, aanwezig zijn in Benin, is er weinig voortgang geboekt in afspraken om de uitvoering van het beleid te verbeteren. Dat is één van de redenen dat de donoren zich beperken tot een projectaanpak in Benin en er (nog) geen sprake is van een gezamenlijke strategie ter ondersteuning van de gezondheidszorg- en landbouwsector. Daarnaast zijn donoren de laatste jaren minder geneigd om budgetsteun te geven indien niet aan alle voorwaarden is voldaan.

In Bolivia is de beleidsuitvoering beter dan in Benin, hoewel er ook hier van uitvoeringsproblemen sprake is die de politieke duurzaamheid van projectresultaten negatief kunnen beïnvloeden. Ook in Bolivia verloopt de beleidsdialoog over uitvoeringsproblemen vaak vrij moeizaam. Dit is vooral ook afhankelijk van personen op sleutelposities (in de beide sectoren) die meer of minder open staan voor een beleidsdialoog met donoren. Enkele jaren geleden waren donoren, inclusief België, positief over de strategie om ondervoeding bij kinderen tegen te gaan en daarom werd budgetsteun verleend aan het ondervoedingsprogramma. Echter bij wijziging van de belangrijkste (overheids)verantwoordelijken aan Boliviaanse zijde veranderde de samenwerking en was van dialoog nauwelijks sprake meer, waardoor donoren geleidelijk besloten hun steun te beëindigen. In de irrigatiesector is nu sprake van een nieuwe dynamiek en wordt rond nieuw nationaal beleid een nieuwe vorm van ‘basket fund’-financiering in het leven geroepen waaraan België gaat bijdragen.

46

In beide landen is sprake van een decentralisatiebeleid waarbij departementen, provincies (alleen voor Bolivia) en gemeentes een rol zouden moeten hebben in de uitvoering van diensten in landbouw en gezondheidszorg. Dit werkt verschillend in beide landen. In Bolivia is het decentralisatiebeleid in de praktijk vorm gegeven door delegatie van bevoegdheden naar de verschillende niveaus. Gemeenten spelen een belangrijke rol in de levering van diensten, op het gebied van gezondheidszorg en landbouw, en daarvoor zijn middelen ter beschikking gesteld door de centrale overheid. In Benin gaat de uitvoering van de decentralisatie met veel problemen gepaard en hebben de gemeenten geen directe verantwoordelijkheid voor de levering van diensten. Wel heeft de decentralisatie ervoor gezorgd dat de gemeenten meestal goed betrokken worden in het overleg over verbetering van de diensten. Dat geldt voor zowel de verantwoordelijke burgemeesters als de gekozen vertegenwoordigers op lokaal niveau. Daadwerkelijke decentralisatie zoals in Bolivia heeft een positieve uitwerking op de duurzaamheid van resultaten.

Institutionele duurzaamheid

De institutionele verankering van projectinterventies op verschillende niveaus krijgt veel aandacht in de Belgische gouvernementele coöperatie zowel in Benin als Bolivia. Dat is van groot belang, maar op zichzelf nog geen garantie voor institutionele duurzaamheid.

De strategie in de ISPs met Benin om interventies op districts- en departementaal niveau te combineren met interventies op nationaal niveau, de zogenaamde ‘double ancrage’ (dubbele verankering)9

In Bolivia heeft de Belgische coöperatie de focus minder gericht op de verankering van de Belgische interventies op verschillende niveaus, hoewel dit in de irrigatiesector de laatste jaren wel meer het geval is. Voor de gezondheidszorg valt op dat vooral de versterking op gemeentelijk niveau aandacht heeft gekregen en dat hier ook wel positieve resultaten zijn geboekt, hoewel de frequente overplaatsing van gezondheidszorgpersoneel de duurzaamheid negatief beïnvloedt. Echter de interactie tussen de verschillende niveaus heeft relatief weinig aandacht gekregen, maar dit viel ook gedeeltelijk buiten de invloedsfeer van de verschillende interventies. Tijdens het veldbezoek in Bolivia werd aangegeven dat het Ministerie van gezondheidszorg centralisatietendensen vertoont en dit zou een zeker risico zijn voor de duurzaamheid van resultaten op lokaal niveau. Ook de steun aan de landbouwsector in Bolivia was

is de belangrijkste strategie om duurzaamheid van resultaten te bevorderen. Er is veel aandacht besteed aan de versterking van capaciteiten van het personeel en verbetering van de planning en uitvoering op de verschillende niveaus, waarbij ook goede resultaten zijn geboekt, vooral op lokaal/operationeel niveau. Ook de versterking van het nationale agentschap voor bloedtransfusie in Benin is een positief voorbeeld waar België zeker aan heeft bijgedragen. De duurzaamheid van die institutionele resultaten is echter niet gegarandeerd, omwille van verschillende factoren. Bovendien is die duurzaamheid nauwelijks te beoordelen op basis van de geselecteerde projecten, omdat de Belgische donorsteun aan de twee sectoren in de twee departementen en verschillende districten vrijwel ongewijzigd is tijdens de afgelopen 15 jaren. Een eerste beperkende factor is dat door gebrekkig leiderschap noodzakelijke hervormingen uitblijven, waardoor de verschillende niveaus onvoldoende op elkaar zijn ingespeeld. Een andere negatieve factor is dat – zeker in de gezondheidssector – het personeel veelvuldig overgeplaatst wordt of elders gaat werken.

9 Aangezien de gezondheidszorg op drie niveaus werkt, namelijk distict, departement en nationaal niveau wordt ook wel van ‘trple ancrage’ gesproken.

Conclusies, lessen en aanbevelingen


vooral gericht op het niveau van de gemeenten en groepen van landbouwproducenten; in mindere mate is aandacht besteed aan de relaties met het departementale en nationale niveau. In de praktijk heeft dit vrij goed gewerkt in de Boliviaanse context waar het immers veel moeilijker is om invloed te hebben op departementaal en nationaal niveau.

Financieel-economische duurzaamheid op het niveau van de instellingen

De financieel-economische duurzaamheid op het niveau van de instellingen heeft relatief weinig aandacht gekregen. In de formuleringsdocumenten is vrijwel altijd een financiële bijdrage van het partnerland voorzien. Dit wordt wel gezien als een manier om ownership te bevorderen en om continuering van activiteiten na afloop van het project te vereenvoudigen. Echter in de praktijk is die financiële bijdrage moeilijk te monitoren en kan er sprake zijn van fungibiliteit van fondsen. Vaak worden die bijdragen ‘in natura’ betaald en worden ze niet precies berekend. Eerdere evaluaties van de kwaliteit van de prestaties van BTC stelden vast dat financiële duurzaamheid zeer problematisch was.

In Bolivia besteedt de overheid al jarenlang 6% van het BNI aan gezondheidszorg, terwijl dit percentage voor Benin 4.6% is (zie tabel 2). Een norm voor Afrikaanse landen, vastgelegd in de zogenaamde Abuja verklaring, is om minimum 15% van het overheidsbudget aan gezondheidszorg te besteden. Benin haalt deze norm (nog) niet, aangezien momenteel 10- 11% van het overheidsbudget aan gezondheidszorg wordt besteed.

Zowel in de landbouw als de gezondheidszorg in Benin is de afhankelijkheid van buitenlandse hulp groot en het is niet duidelijk hoe de omvang en kwaliteit van de door de overheid geleverde diensten – zelfs al laat die kwaliteit nog steeds te wensen over – gehandhaafd kan blijven na het eventuele stopzetten van de hulp. Een recente poging is de introductie van resultaatgerichte financiering van gezondheidszorg, waar België via één van de projecten deze nieuwe financieringsvorm in vijf gezondheidsdistricten heeft geïntroduceerd en ondersteund.10

10 De formulering van het PARZDS-project diende daarom aangepast te worden, omdat dit niet in het goedgekeurde Technish-Financiële Dossier voorzien was. Zie voor meer details bijlage 6 in het landenrapport voor Benin.

Ook de Wereldbank heeft deze innovatieve vorm van financiering in verschillende gezondheidsdistricten ondersteund. De beide donoren volgden een andere aanpak. Aangezien het idee is om deze financieringsvorm nu uit te rollen over het ganse land, met bijkomende hulp van andere donoren, is er nu een discussie over harmonisatie en uniformering gaande. Ondanks de positieve meningen en ervaringen over resultaatgerichte financiering, is het een gemiste kans dat dit systeem gestart is zonder daarbij de overwegingen van financiële duurzaamheid nadrukkelijk in kaart te brengen. Het is momenteel daarom nog te vroeg om een uitspraak te doen over de duurzaamheid van dit systeem.

In Bolivia is mede dankzij de decentralisatie wel sprake van een zekere garantie van continuering van de geleverde diensten. In armere gebieden zoals de provincie Chayanta beschikken de gemeentes over een budget om een minimumniveau van diensten te leveren. In principe biedt dat een goede basis voor duurzame resultaten. Hieraan is echter weinig aandacht gegeven in de formulering en uitvoering van de interventies in de twee sectoren in deze provincie, waardoor de resultaten beperkt zijn gebleven.

48

Financieel-economische duurzaamheid op het niveau van de doelgroep

Er is een groot verschil tussen de twee sectoren wat betreft de financieel-economische duurzaamheid op het niveau van de doelgroep. In het algemeen geldt dat de Belgische gouvernementele samenwerking sterker op instellingen is gericht dan op het niveau van de doelgroep.

In de landbouwsector krijgt dit –mits projecten goed zijn geformuleerd en uitgevoerd – redelijk veel aandacht. Het gaat immers om verbetering van de productie van landbouw, veeteelt en tuinbouw en de verkoop van deze producten. Echter de kwaliteit van de formulering wisselt sterk zoals we reeds aangaven. De interventies zijn soms sterk inputgericht en nogal divers. Door de problematische politiek-institutionele context in Benin en het gebrek aan goede gegevens kan niet vastgesteld worden of er sprake is van een geleidelijk duurzame verbetering van de positie van de doelgroep, ondanks verhoging van de landbouwproductie. Toch is er potentieel want de bevolkingsgroei en urbanisatie zorgt voor een toenemende vraag naar landbouwproducten. Bovendien zijn de landbouwinterventies in Benin meer op de verschillende overheidsniveaus en private partners (zoals intermediairen) gericht en minder op de producenten. Er is bijgevolg ook nauwelijks informatie op het niveau van de doelgroep van de resultaten van de door België ondersteunde interventies beschikbaar (zie tabel 9). In Bolivia liet weliswaar de kwaliteit van de formulering van landbouwprojecten te wensen over, maar was er wel sprake van een duidelijke gerichtheid op groepen van arme producenten. De landbouwinterventies in Bolivia hebben toch geresulteerd in duurzame positieve resultaten voor de doelgroepen. Dit hangt vooral samen met de relatief positieve evolutie in de politiek-economische context en de daadwerkelijke decentralisatie.

De discussie over de bijdragen van de bevolking aan de kosten van de gezondheidszorg is van een heel andere orde. In arme landen zoals Benin is daar zeker in verschillende vormen aandacht voor geweest. De bevolking betaalt voor een aantal gezondheidsdiensten. Echter precieze gegevens over de omvang van die betaling, de relatie met het inkomensniveau van verschillende bevolkingsgroepen en of de betaling een beperking vormt voor het gebruik van gezondheidsdiensten ontbreken. Zo is er geëxperimenteerd met het ondersteunen van gezondheidsmutualiteiten en het verhogen van de financiële draagkracht van de bevolking via inkomensgenererende activiteiten. De mutualiteiten hebben echter beperkte slaagkans, omdat de bevolking onvoldoende middelen heeft om de premie te betalen. In hoeverre de inkomensgenerende activiteiten waarmee de leden van de recent lokaal opgerichte gezondheidsplatformen11

In Bolivia zijn de basisdiensten van de gezondheidszorg gratis. De verzekeringen voor gezondheidszorg voor additionele diensten zoals laboratoriumkosten en transport zijn meer wijdverspreid dan in Benin. Wel zijn er grote verschillen tussen de bevolkingsgroepen in Bolivia. Zo is 41% van de bevolking op de één of nadere manier verzekerd. Echter het verschil tussen rurale en stedelijke gebieden is groot; slechts 6% van de rurale bevolking aangesloten bij een bepaalde verzekering (Caja de salud) ten opzichte van 22% van de urbane bevolking. Daarachter gaan grote inkomensverschillen schuil. Verder is slechts 63% van de kinderen jonger dan 5 jaar geregistreerd bij de universele verzekering voor moeder en kind en is 27% van de ouderen boven 65 jaar

bepaalde gezondheidsdiensten financieren zoals een ambulance om iemand naar het ziekenhuis te brengen, zullen blijven bestaan na afloop van het project is moeilijk te zeggen.

11 Platform van gebruikers van de gezondheidsdiensten, of PUSS (Plateforme d’Utilisateurs de Soins de Santé).



verzekerd. Dit toont de grote ongelijkheid aan, waar de Belgische interventies vrij weinig aandacht aan hebben besteed.

Sociaal-culturele duurzaamheid

De sociaal-culturele duurzaamheid is van de zeven duurzaamheidscomponenten degene die het minste aandacht heeft gekregen in de afgelopen interventies van de Belgische ontwikkelingssamenwerking. Het gaat hierbij allereerst om het onderscheid tussen verschillende bevolkingsgroepen en hoe zij bij de verschillende interventies betrokken worden. Het onderscheid tussen mannen en vrouwen is daarbij van belang. Gender is een belangrijk transversaal thema voor de Belgische ontwikkelingssamenwerking, maar in de beide sectoren in de beide landen is geen sprake van een goed uitgewerkte genderstrategie, niet per sector en niet per interventie. Er is geen bewijs dat gender, behalve de formele verwijzing naar gender als transversaal thema. Vooral in de landbouwsector in beide landen is geen sprake van enige systematische aandacht voor de rol van vrouwen in de landbouw en hoe hun rol verbeterd zou kunnen worden.

In de gezondheidszorg komt automatisch de rol van vrouwen al naar voren via specifieke indicatoren zoals het aantal bevallingen in gezondheidscentra en andere aspecten van de pre- en postnatale zorg. Ook de rol van moeders bij verbetering van de kennis over voeding van kinderen krijgt aandacht. Daarnaast is bij de meeste projecten ter versterking van de lokale gezondheidszorg wel aandacht voor de rol van vrouwen in gezondheidscomités en andere platformen gerelateerd aan de dienstverlening in de gezondheidssector waarbij de bevolking wordt betrokken. Zowel in Benin als in Bolivia is hier relatief veel aandacht aan besteed. Voor Benin is het echter moeilijk te zeggen in hoeverre deze platformen en deelnemende verenigingen zullen blijven functioneren na het stopzetten van de buitenlandse hulp, terwijl in Bolivia waar de instituties sterker zijn dit wat minder de vraag is, hoewel daar gezien de grote ongelijkheid ook nog veel verbeterd moet worden.

Deze bevindingen met betrekking tot gender komen overeen met de recente evaluatie van gender en ontwikkeling in de Belgische ontwikkelingssamenwerking die het volgende vaststelt: “Er is op vele plaatsen en op verschillende wijzen geprobeerd om gender te integreren en in te zetten op grotere gendergelijkheid; alleen lijken de behaalde resultaten veelal het gevolg van tijdelijke en toevallige configuraties die vooral ontstaan zijn op initiatief van gemotiveerde individuen. Slechts een beperkt aantal bij de Belgische samenwerking betrokken organisaties slaagt erin om op structurele en continue wijze gender zodanig te integreren dat betekenisvol wordt bijgedragen tot grotere gendergelijkheid”. Deze evaluatie stelt tevens vast dat er grote vragen rijzen ten aanzien van de duurzaamheid van de effecten van gender mainstreaming in projecten en programma’s.12

In beide landen en beide sectoren is er vrij weinig aandacht geweest voor het onderzoeken van de dynamiek onder de verschillende bevolkingsgroepen waar de interventies op hadden kunnen inspelen. Tevens hebben de interventies nauwelijks aandacht besteed aan het vertrouwen van de bevolking in de overheid en met name de

Deze bevinding geldt ook voor deze specifieke evaluatie naar duurzaamheid waarin evenmin bewijzen voor daadwerkelijk duurzame effecten met betrekking tot de verbetering van de positie van vrouwen zijn vastgesteld.

12 DBE, South Research, IOB, De lastige weg naar gelijkheid. Evaluatie Gender en Ontwikkeling in de Belgische Samenwerking, Syntheseverslag, November 2014, p. 11 en p. 55.

50

capaciteit van de overheid om kwalitatief goede diensten te leveren op een transparante wijze.

In de gezondheidszorg in Bolivia is er relatief wat meer aandacht voor aansluiting bij lokale gebruiken, hetgeen de sociaal-culturele duurzaamheid vergroot. Zo is er het gebruik om de placenta na de geboorte aan de zojuist bevallen vrouw te geven. Het communicatiemateriaal in Bolivia is op maat van de verschillende bevolkingsgroepen gemaakt. In de nieuwe gezondheidsposten was er ook een ruimte voor consulten door traditionele genezers beschikbaar, maar die ruimtes worden lang niet altijd meer gebruikt. In principe past het in het nationale beleid van Bolivia om goed aan te sluiten bij de behoeften van verschillende bevolkingsgroepen met verschillende gewoontes en gebruiken. Echter in de praktijk wordt dit niet altijd nageleefd. In Benin wordt het belang van een betere aansluiting tussen traditionele genezers en de door de overheid geleverde gezondheidszorg wel onderkend, maar is hier nog weinig invulling aan gegeven. Voor de gezondheidszorg in beide landen geldt dat nog vrij weinig bekend is over sociaal-culturele aspecten die het gebruik van gezondheidsdiensten beïnvloeden, inclusief de attitude van verschillende groepen gebruikers van gezondheidsdiensten. Zo bleek tijdens het terreinbezoek in Benin dat een door de Belgische coöperatie goed opgeknapt gezondheidscentrum in het geheel niet bezocht wordt. De autoriteiten gaven als mogelijke redenen voor de onderbenutting ‘andere praktijken’ en de afstand tussen de woonplaats van de lokale bevolking op de heuvels en het gezondheidscentrum aan, terwijl andere gezondheidscentra in de nabijheid wel worden bezocht. Hier kunnen mogelijk ook sociaal-culturele factoren aan ten grondslag liggen, maar dat is verder niet bekend.

Ook bij de interventies in de landbouwsector is vrij weinig aandacht besteed aan de dynamiek van de productiesystemen en het onderscheid tussen verschillende soorten producenten. In Benin lag sterk de nadruk op de overheidsdiensten. In Bolivia was er in de landbouwsector te weinig aandacht voor een grondige analyse van de productiesystemen en de betrokken lokale actoren, hoewel uiteindelijk wel systematisch is gewerkt met verschillende groepen producenten en gemeenschapsgroepen. Dit heeft in Bolivia de sociaal-culturele duurzaamheid zeker bevorderd.

Ecologische duurzaamheid

De ecologische duurzaamheid heeft in relatie tot gezondheidszorg betrekking op enkele specifieke aspecten, zoals het verantwoord omgaan met biomedisch afval, maar ook met goede water- en sanitaire voorzieningen in en rond de gezondheidscentra. Vooral in Benin is er veel aandacht gegeven via de Belgische interventies aan een verbetering van het beheer van biomedisch afval; de systemen functioneren over het algemeen goed in de door de Belgische ontwikkelingssamenwerking ondersteunde districten en lijken duurzaam te zijn. In de interventies in Bolivia is hier minder systematisch aandacht aan gegeven, maar ook hier zijn verbeteringen gerealiseerd door de correcte verwerking van biomedisch afval en krijgt dit nog steeds de aandacht. Er zijn geen aanwijzingen gevonden dat bij de bouw van gezondheidszorginfrastructuur specifiek en systematisch aandacht is besteed aan ecologische aspecten.

In de landbouw is het van groot belang dat ecologische factoren in ogenschouw worden genomen en dat introductie van nieuwe landbouwtechnieken en gewassen ecosystemen niet verstoren. In Benin is de aandacht vooral uitgegaan naar verhoging van de productie en is er opmerkelijk weinig aandacht voor de ecologische factoren, ondanks het feit dat het ecologisch fragiele gebieden betreft. Dit vormt een zeker risico voor de duurzaamheid van resultaten. In de landbouw in Bolivia is wel meer aandacht aan ecologische duurzaamheid besteed. Zo zijn de principes van biologische landbouw geïntroduceerd en ook zijn er aanwijzingen dat de erosie is teruggedrongen mede door de door België ondersteunde landbouwinterventies.

Deze bevindingen voor de landbouwsector komen overeen met de vaststelling in de recente evaluatie van het leefmilieu in de Belgische samenwerking dat ondanks het formele respect voor het leefmilieu, de ontwikkelingstrajecten niet ingrijpend worden



bijgestuurd richting duurzaamheid. “Er wordt rekening gehouden met de aanpassing aan de milieu- en klimaatsverandering, maar dit gebeurt op een impliciete manier en zonder veel te anticiperen op de verwachte veranderingen van het klimaat”.13

Technologische duurzaamheid

In de meeste interventies in de twee sectoren in Bolivia en Benin is aandacht besteed aan de introductie van de juiste technologische innovaties met aandacht voor training omtrent het juiste gebruik en onderhoud. Gedurende de terreinbezoeken zijn goede voorbeelden aangetroffen van (medische of laboratorium-) apparaten die nog steeds in gebruik zijn, irrigatiesystemen die adequaat functioneren en verbeterde werkwijzen die nog steeds worden gehanteerd. Echter er zijn ook voorbeelden van onvoldoende tijd en aandacht voor het goed plannen van het onderhoud van irrigatiesystemen en niet goed toepassen van de protocollen voor bloedtransfusie. Ook in het landbouwproject PAMRAD bleken er onvoldoende aan de lokale context aangepaste technologieën geïntroduceerd te zijn.

3.6 Externe verklarende factoren

Het overzicht van de beoordeling van de zeven aspecten van duurzaamheid in de twee landen en de twee sectoren suggereert dat de landencontext een belangrijke verklarende factor is.

Allereerst is het verschil in inkomensniveau van beide landen een belangrijke verklarende factor voor de duurzaamheid van resultaten. Een hoger inkomensniveau geeft de overheid meer armslag om goed beleid te formuleren en uit te voeren en daarvoor voldoende middelen ter beschikking te stellen. Dit is een ontwikkeling die gaande is in beide sectoren in Bolivia, hetgeen ook de geleidelijke terugtrekking van donoren mogelijk maakt. Met een laag inkomensniveau zoals in Benin heeft de overheid blijvend te weinig inkomsten ter beschikking, waardoor de afhankelijkheid van donoren groot blijft.

In Benin zorgt de urbanisatie en bevolkingsgroei op korte termijn voor een grotere vraag naar landbouwproducten. Anderzijds verhoogt dit de druk op gezondheidsdiensten. Daarnaast kan de snelle bevolkingsgroei een bedreiging vormen voor duurzame ontwikkeling op lange termijn, omdat het immers de druk op de natuurlijke hulpbronnen vergroot.

Governance factoren zijn eveneens van groot belang als verklaring voor de duurzaamheid van resultaten. Zowel Bolivia en Benin hebben verbeterd sectorbeleid geformuleerd en dit is een belangrijke eerste stap om duurzame verbeteringen te realiseren. Dit is echter een noodzakelijke, maar zeker geen voldoende voorwaarde. In Benin blijft de uitvoering van dit beleid achter door gebrekkig politiek leiderschap en onvoldoende politieke wil tot verandering. Daardoor stijgt bijvoorbeeld de bijdrage van de overheid aan gezondheidszorguitgaven nauwelijks en blijft achter bij de internationale normen. Deze problematiek doet zich niet alleen voor in beide sectoren in Benin, maar betreft ook de decentralisatie. Er is een decentralisatiebeleid in Benin, maar ook daar blijft de effectieve uitvoering achter. Gemeenten beschikken nauwelijks over budgetten

13 DBE, ADE, Hoe groen is onze ontwikkelingshulp. Thematische ontwikkeling van de Belgische ontwikkelingssamenwerking inzake milieu. Synthese. September 2013, p. 7

52

om de hen toebedeelde taken goed uit te voeren. Daarom blijven de uitvoeringskanalen per sector georganiseerd en worden gemeentes vooral geconsulteerd in de uitvoering. In Bolivia daarentegen is het positieve beleid ook in uitvoering omgezet, waarbij de delegatie van bevoegdheden en taken naar departementen en gemeenten een belangrijke rol speelt. Gemeenten hebben ook de beschikking over budgetten om de hen toebedeelde taken uit te voeren. In enkele gevallen verloopt de samenwerking met departementen of gemeenten moeizaam en dit kan de duurzaamheid van resultaten negatief beïnvloeden.

De governance factoren in samenhang met het inkomensniveau beïnvloeden ook de capaciteit van instituties. Het wekt geen verbazing dat de instituties in Bolivia sterker zijn dan in Benin, ook al zijn er grote onderlinge verschillen in Bolivia. Vooral in de armere regio’s in Bolivia blijft de capaciteit nogal eens achter, terwijl ook de frequente overplaatsingen van staf een negatieve invloed heeft.

De kwaliteit van de algemene beleidsdialoog in beide landen is laag, zoals eerder in de context sectie al naar voren is gekomen. In Benin heeft dit te maken met gebrekkig leiderschap en beperkte capaciteit. In Bolivia is er sprake van krachtig leiderschap, maar is de regering niet geïnteresseerd om een echte beleidsdialoog aan te gaan die technische zaken overstijgt.

3.7 Verklarende factoren Belgische gouvernementele samenwerking

ISPs en beleidsdialoog

Alle ISPs sluiten goed aan bij het nationale beleid en het Belgische beleid voor ontwikkelingssamenwerking. Uitvoeringsproblemen met beleid zoals die zich in Benin voortdurend voordoen en ook in Bolivia vóór 2006, worden echter niet genoemd.

De resultaatgerichtheid van ISPs is beperkt en de duurzaamheid van resultaten en de voorwaarden voor duurzaamheid komen niet expliciet aan de orde. Hoewel de ISPs voor een bepaalde periode is vastgesteld, is in geen enkel geval een expliciete exit-strategie ontwikkeld, noch voor de gehele gouvernementele samenwerking, noch voor specifieke sectoren. Alleen in de ISP met Bolivia voor de periode 2014-2016 is sprake van een transitiestrategie, waarna de Belgische steun onderdeel zou worden van een gezamenlijk EU-programma. Het is echter niet uitgewerkt hoe dat vorm zou moeten krijgen. Inmiddels heeft België besloten de gouvernementele ontwikkelingssamenwerking met Bolivia te beëindigen. Daarbij zullen alle verplichtingen overeengekomen in de ISPs nagekomen worden, maar zullen beide landen geen nieuwe ISP ondertekenen.

ISPs zijn de gezamenlijke verantwoordelijkheid van België en het partnerland die beiden in een Gemengde Commissie de ISP ondertekenen. Dit bevordert, in principe, het ownership van het partnerland. De meeste bilaterale donoren hebben niet zo’n gezamenlijk samenwerkingsprogramma en hierin onderscheidt België zich.

Vanaf 2008, is de Belgische gouvernementele samenwerking geconcentreerd in twee sectoren, in overeenstemming met het Belgische beleid. Dit betekent dat er in principe beter gestreefd kan worden naar een samenhangende aanpak per sector. Dit zou ervoor moeten zorgen dat interventies goed op elkaar afgestemd worden en dat een coherente strategie ontwikkeld wordt. In de samenwerking met Benin is er sinds 2008 veel aandacht besteed aan de ontwikkeling van een samenhangende ondersteuningsstrategie voor beide sectoren. Daarbij is het uitgangspunt om de interventies op het niveau van departementen te koppelen aan interventies op nationaal niveau, de zogenaamde ‘double ancrage’ (dubbele verankering). Dit is een logische gedachtegang in de lijn van de Verklaring van Parijs (en vervolgens Accra en Busan), waarbij het idee is dat donoren die een sector ondersteunen allemaal samen een dergelijke strategie volgen en dat projectsteun geleidelijk vervangen wordt door andere



vormen van financiering, zoals budgetsteun. Dit is echter niet het geval in Benin, omdat hervormingen en beleidsuitvoering achterblijven. Dit betekent dat België wel aan het principe van ‘double ancrage’ vasthoudt onder de noemer van een sectorstrategie, maar dat dit in feite een bilaterale sectorstrategie is bestaande uit één of meer projecten die op verschillende niveaus werkzaam zijn, dit in tegenstelling tot wat traditioneel wordt verstaan onder sector ondersteuning (sector-wide approach). Terwijl de gedachtegang achter de dubbele verankering in principe logisch is, vereist dit dat ook andere donoren zich erachter scharen om daadwerkelijk de duurzaamheid positief te beïnvloeden. Dit is wel het geval voor irrigatie in Bolivia waar vanuit interventies in verschillende provincies die door meerdere donoren zijn ondersteund, een nationaal plan voor irrigatie is ontwikkeld en nu via een basket fund zal worden ondersteund.

In beide landen heeft België gedurende een aantal decennia steeds dezelfde sectoren ondersteund zonder dat een tijdstermijn voor die ondersteuning is genoemd. Voor Benin stelt de evaluatie vast dat dit de hulpafhankelijkheid kan versterken en negatief kan uitwerken op de duurzaamheid van resultaten. Natuurlijk is het van belang dat een donor over een langere periode coherente ondersteuning aan een bepaalde sector geeft, omdat in een tijdsperiode van 4-5 jaar die voor de meeste interventies geldt meestal geen duurzame resultaten gerealiseerd kunnen worden. Voor Bolivia gaat dit minder op aangezien de hulpafhankelijkheid inmiddels beperkt is. In het verleden heeft dit wel een rol gespeeld, zeker omdat er sprake is geweest van enkele éénmalige interventies in bepaalde gebieden. De voorwaarden waaronder een goede overdracht van activiteiten zou kunnen plaatsvinden op kortere of langere termijn komen niet aan de orde noch in de ISPs voor Benin, noch in die voor Bolivia.

De concentratie van de Belgische ondersteuning op één of meer specifieke regio’s in het partnerland heeft zowel een positieve als negatieve invloed op de duurzaamheid. Voor gezondheidszorg in Benin is er sprake van een decennialange concentratie op specifieke gezondheidszones en dit heeft geresulteerd in positieve outcomes. Door de goede koppeling met nationaal beleid en het introduceren van nieuwe financieringsvormen is er een redelijke kans dat de resultaten ook duurzaam zullen zijn. Voor de ondersteuning van de landbouw in Bolivia in het departement Chuquisaca lijkt hetzelfde te gelden. Echter voor de afgelegen provincie Chayanta in Bolivia waar volgens de ISP 2000-2003 de Belgische hulp zich zou concentreren, maar waar slechts twee eenmalige interventies plaats vonden, is dit niet het geval. Gelukkig zorgt de context in Bolivia ervoor dat lokale overheden, soms met wat ondersteuning van donoren, maar vaak ook niet, zorgt dat de activiteiten voortgezet worden.

Overwegingen van duurzaamheid komen niet of nauwelijks in de ISPs naar voren en is er geen sprake van exit- of transitiestrategieën. Een uitzondering is weliswaar het ISP 2014-2016 voor Bolivia waarin sprake was van een transitie naar een gezamenlijk EU-programma, maar dat is nooit van de grond gekomen. Inmiddels heeft België besloten om de directe gouvernementele samenwerking te beëindigen. Wanneer België de interventies in een bepaalde sector wil beëindigen of wanneer de hele gouvernementele ontwikkelingssamenwerking wordt afgebouwd, is de strategie van België om bestaande verplichtingen na te komen. Projecten worden niet voortijdig gesloten, maar uitgevoerd zoals gepland. Dat is echter niet voldoende om duurzame resultaten te garanderen en vereist een visie op de samenwerkingsrelatie en geleidelijke overdracht.

Beleidsdialoog

De bilaterale beleidsdialoog via de Gemengde Commissies en partnercomités beperkt zich voornamelijk tot het bespreken van de overeenstemming van beleid en betreft vervolgens vooral de meer technisch-administratieve zaken rond specifieke interventies. Uiteraard zijn er grenzen aan de bilaterale beleidsdialoog zoals België die voert met partnerlanden. In bilaterale fora kunnen geen overkoepelende politieke en institutionele factoren die de duurzaamheid beïnvloeden uitgebreid worden besproken. Daarvoor is de koppeling naar de beleidsdialoog tussen de overheid van het partnerland en de donoren, zowel de algemene dialoog als de sectordialoog van belang. Er is vrij

54

weinig informatie over de koppeling van de bilaterale beleidsdialoog aan de bredere beleidsdialoog, maar de indruk bestaat dat die koppeling relatief zwak is. Dit is mede te verklaren door de problematische beleidsdialoog in beide landen.

In geen van de landenonderzoeken kon daarom vastgesteld worden of de door België gevoerde beleidsdialoog een positief dan wel negatief effect heeft gehad op de verduurzaming van resultaten. Dit betreft niet alleen de bilaterale beleidsdialoog, maar ook de deelname van België, via de attaché, aan de algemene en sectorale beleidsdialoog.14

Hulpmodaliteiten

In Benin was België zowel voor de landbouw- als voor de gezondheidszorgsector een aantal jaren de trekker namens de donoren. Die rol werd volgens andere actoren goed vervuld. Echter zoals aangegeven in de contextanalyse waren er problemen met de kwaliteit van de beleidsdialoog in beide landen. Die problemen kunnen niet door België alleen opgelost worden. De samenwerkingsrelaties tussen DGD en BTC in beide landen was de afgelopen jaren goed en dit kwam naar voren in een goede uitwisseling van informatie. De ISPs en de formuleringsdocumenten van interventies identificeren niet systematisch de factoren aan de zijde van het partnerland die duurzaamheid beïnvloeden en die onderwerp zouden kunnen zijn in de beleidsdialoog.

De Belgische ondersteuning in Benin bestaat alleen uit projectinterventies. Hoewel België streeft naar een sectorbrede benadering samen met andere donoren, zodat ook andere financieringsvormen mogelijk zouden zijn, is dit nog niet van de grond gekomen. De resultaten van projectinterventies zijn moeilijker te verduurzamen in een omgeving waar een gezamenlijke sectorbenadering ontbreekt, al of niet met verschillende hulpmodaliteiten zoals budgetsteun. België heeft dit proberen te ondervangen door een eigen strategie van sectorondersteuning op verschillende niveaus te ontwikkelen. Dit is het reeds genoemde systeem van de dubbele verankering, of zelfs driedubbele verankering van de ondersteuning namelijk op het niveau van de zone, departement en nationaal. Echter om duurzame resultaten op deze manier te verwezenlijken, moet wel aan een aantal voorwaarden voldaan zijn, zoals uitvoering van structurele hervormingen en een goede beleidsdialoog. Aan die voorwaarden is vooralsnog niet of onvoldoende in Benin voldaan.

In Bolivia is in beide sectoren sprake van een bijdrage aan een zogenaamd ‘basket fund’, namelijk voor het nationale ondervoedingsprogramma en een nationaal plan voor de irrigatiegebieden. Aangezien het om nationale programma’s en plannen gaat, waarbij de verantwoordelijkheid voor de uitvoering bij de overheid ligt, zijn de kansen op duurzame resultaten hier hoog, mits de programma’s en plannen goed geformuleerd zijn en er vertrouwen tussen de partners bestaat. Bij het ondervoedingsprogramma erodeerde geleidelijk het vertrouwen van de donoren en was er geen sprake van een open beleidsdialoog, waardoor de donoren zich geleidelijk terugtrekken.

14 Een recent uitgebreid onderzoek naar de relatieve invloed van verschillende donoren op het beleid van partnerlanden ten opzichte van het volume aan gegeven hulp geeft aan dat multilaterale donoren in het algemeen meer invloed hebben dan bilaterale donoren. Sommige kleinere bilaterale donoren zoals Luxemburg, Oostenrijk en Finland zouden meer invloed hebben dan op grond van het volume aan hulp verwacht zou worden. België zou minder invloed hebben dan op grond van de financiële bijdrage verwacht zou mogen worden. Bron: AidData, Listening to Leaders: Which Development Partners do they prefer and why?, October 2015



Bij regie en medebeheer van de interventies valt niet direct te zeggen of ze duurzaamheid bevorderen, neutraal zijn dan wel duurzaamheid belemmeren. Het medebeheer van projectinterventies is de meest voorkomende vorm in Bolivia en Benin en waarschijnlijk in alle door BTC uitgevoerde interventies. De gezamenlijke verantwoordelijkheid van België en het partnerland zou voor een goede overdracht aan het einde van de interventie moeten zorgen. Echter in het geval van vervolgfinanciering, zoals dat in Benin al meer dan tien jaar het geval is, vervalt dat idee van overdracht. In Bolivia daarentegen verwoordde de landenevaluatie van de partnerrelatie tussen België en Bolivia in 2006 al het ongenoegen met deze hulpmodaliteit die te weinig zeggenschap zou geven aan Bolivia. In deze evaluatie kwam dat weer naar voren. De vraag is echter of de modaliteit het probleem is of veeleer de aard van de samenwerkingsrelatie. Het vaststellen van een eigen bijdrage van het partnerland bij medebeheer is ook een manier om de gezamenlijkheid vorm te geven. Van regie is meestal sprake wanneer het gaat om technische assistentie. Deze modaliteit betekent wel dat het partnerland zich niet direct verantwoordelijk zal voelen voor de technische assistentie, hetgeen de duurzaamheid van de resultaten negatief kan beïnvloeden. Anderzijds gaat het juist bij technische assistentie om de aard van de samenwerkingsrelatie die waarschijnlijk van groter belang is dan de modaliteit.

Ownership

De discussie over hulpmodaliteiten is ook gekoppeld aan ownership van de interventies. Allereerst zou dat gezamenlijke ownership bevorderd worden door de gezamenlijke ISP. Echter indien de rol van donoren beperkt is, zoals in het geval van Bolivia, hecht de nationale overheid niet zoveel belang aan een gezamenlijk ISP. Aangezien België één van de weinige donoren is met zo’n gezamenlijk ISP en België veel belang hecht aan bilateraal overleg, is hier wel veel waardering voor in de partnerlanden. Het is dan vooral de positieve intentie van België om de gezamenlijke verantwoordelijkheid te benadrukken die gewaardeerd wordt en het soepele overleg. Zoals hiervoor aangegeven zou er bij nationale programma’s en basketfinanciering of budgetsteun sprake zijn van meer ownership bij de actoren van het partnerland. Echter we zagen dat bij deze hulpmodaliteit, zoals het geval was in het ondervoedingsprogramma in Bolivia, het ownership van de donoren aangetast kan worden.

Ownership is een lastig te beoordelen element van een samenwerkingsrelatie, waarbij de donor het grootste deel van de financiering levert en de financiële bijdrage van het partnerland tijdens uitvoering niet precies gemonitord wordt. Het landenrapport Benin stelt vast dat er nogal eens sprake is geweest van gebrekkig ownership bij een aantal interventies. Het landenrapport Bolivia stelt vast dat vooral op nationaal niveau, met uitzondering van het ondervoedingsprogramma, het ownership beperkt was. Op het niveau van gemeenten was voor een aantal interventies het ownership wel goed, hetgeen zich uitte in het voortzetten van de activiteiten na afloop van de projecten. Dit was zelfs het geval voor interventies die minder succesvol leken tijdens de uitvoering, zoals de Chayanta projecten in Bolivia.

Identificatie en formulering

Vooral de kwaliteit van de formulering is van belang voor het realiseren van (duurzame) resultaten. De identificatie is in de loop van de jaren, met de veel verschillende beheerscontracten, lichter geworden. Een eerste identificatie van interventies vindt plaats in de Gemengde Commissie en wordt vastgelegd in de ISPs. Verder is de identificatie de verantwoordelijkheid van het partnerland sinds het 2e beheerscontract. In deze evaluatie kon geen duidelijke relatie tussen de kwaliteit van de identificatie en de duurzaamheid van resultaten worden vastgesteld. De formuleringsdocumenten (Technisch en Financieel Dossier-TFD) zijn van groot belang voor de uitvoering. De kwaliteit van die documenten was variabel. Wel verbeterde de kwaliteit in de loop van de jaren. Bij een goede kwaliteit van de formulering is er sprake van een goede context

56

analyse, die zowel de meer technische als de economisch-financiële, sociaal-culturele en politiek-institutionele factoren analyseert en de interventies daarop baseert. Die analyse was voor de meerderheid van de interventies in Bolivia van onvoldoende kwaliteit en dat gold ook voor een reeds enige tijd afgerond landbouwproject in Benin. Een positieve uitzondering vormde het document voor het nationale ondervoedingsprogramma in Bolivia, terwijl ook de formulering van de gezondheidsprojecten in Benin veelal van voldoende kwaliteit waren. Zelfs wanneer de formulering van voldoende kwaliteit is, wordt er in vrijwel geen formuleringsdocument expliciet aandacht aan duurzaamheid besteed of een exit- of transitiestrategie beschreven.

Tevens is er vrijwel nooit sprake van een baseline studie die systematisch zowel kwantitatieve als kwalitatieve indicatoren voorafgaand aan de interventie in kaart brengt aan de hand van o.a. surveys of bevragingen van de bevolking. Hoewel dit relatief tijdsintensief en duur is en dit niet kosteneffectief is voor elke interventie, is dit een goed middel om bijvoorbeeld voor de regio’s waar de Belgische interventies zich concentreren meer licht te werpen op duurzaamheid en impact.

Hoewel de strategie van dubbele verankering logisch is en in principe duurzaamheid van resultaten kan bevorderen, zijn er ook risico’s. Allereerst is het risico dat de regio’s waar de Belgische steun al jaren geconcentreerd is een soort van enclaves worden en te afhankelijk van de Belgische ondersteuning. Anderzijds bestaat het risico dat te ambitieuze projecten op verschillende niveaus worden geformuleerd, waarbij vanuit een beoogde, maar niet geheel realistische sectorale benadering, de Belgische projectinterventies teveel hooi op de vork nemen. Deze risico’s zijn reëel voor de huidige sectorprojecten in Benin, waar de projecten op nationaal niveau de doelstellingen van de nationale plannen overnemen zonder daarbij de beperkte bijdrage die België kan leveren in de problematische politiek-institutionele context voldoende in ogenschouw te nemen.

Coherentie en complementariteit

De coherentie en complementariteit van de interventies krijgen vooral de aandacht in de relatie tot andere bilaterale interventies in dezelfde sector. In principe zou de concentratie op specifieke sectoren en de geografische concentratie complementariteit moeten bevorderen. Dit is voor enkele sectoren wel het geval en de strategie van de dubbele verankering in Benin is hier een goed voorbeeld van. Voor gezondheidszorg in Bolivia is er echter nauwelijks sprake van complementariteit binnen de sector.

Slechts sporadisch wordt aandacht besteed aan de coherentie en complementariteit van de door België ondersteunde interventies met de interventies van de indirecte Belgische ontwikkelingssamenwerking via NGOs, universiteiten of BIO. Het is interessant dat in deze laatste fase van de gouvernementele ontwikkelingssamenwerking met Bolivia er nu vrij veel aandacht is voor de complementariteit met de indirecte ontwikkelingssamenwerking. De vraag is of dit zal bijdragen tot de verduurzaming van resultaten, omdat immers de indirecte actoren andere accenten leggen en andere samenwerkingsrelaties onderhouden. Het lijkt van belang om een goede transitiestrategie te ontwikkelen met een brede visie op de toekomstige relatie tussen beide landen, waarbij de donor-ontvangerrelatie niet meer centraal zal staan, maar andere vormen van samenwerking en uitwisseling.

Uitvoering en technische assistentie

De kwaliteit van de uitvoering is mede afhankelijk van de kwaliteit van de formulering en van de aard van de samenwerkingsrelatie. Daar waar de kwaliteit van de samenwerkingsrelatie problematisch is geweest, wat in enkele interventies in Bolivia het geval was, stond de kwaliteit van de uitvoering ter discussie en daarmee de duurzaamheid van de resultaten. In Bolivia waren er ook wat problemen met de technische assistentie die soms te geïsoleerd was en zich teveel met administratieve zaken bezig moest houden. In Benin kunnen vraagtekens gezet worden bij het relatief



grote aantal technisch assistenten, vooral op nationaal niveau, waar het risico van substitutie bestaat in de vaak zeer zwakke instituties.

Resultaatgerichtheid, monitoring, evaluatie en kapitalisatie

Er zijn verschillende stappen genomen om de resultaatgerichtheid van de Belgische gouvernementele ontwikkelingssamenwerking te verbeteren. Dit zou een gezamenlijke verantwoordelijkheid voor DGD en BTC moeten zijn. Op een enkele uitzondering na, is de kwaliteit van de monitoring en evaluatie van de interventies door BTC voor wat betreft de resultaatgerichtheid in het algemeen voldoende. Er is zeker sprake van een verbetering van de resultaatgerichtheid in de loop der jaren. Aangezien monitoring en evaluatie worden uitgevoerd wanneer de projecten nog gaande zijn, wordt er weinig aandacht besteed aan de duurzaamheid van resultaten. Echter gezien de noodzakelijke organisatie van monitoring en evaluatie rond de projectcyclus zijn er inherente beperkingen om duurzaamheid beter aan bod te laten komen.

BTC heeft de laatste jaren veel aandacht besteed aan kapitalisatie, d.w.z. dat successen van interventies en de lessen die daaruit getrokken kunnen worden systematisch in kaart worden gebracht. Dat gebeurt via specifieke ondersteuningscontracten waarbij onderzoeksinstellingen, universiteit bij betrokken zijn. Ook levert BTC Brussel ondersteuning aan de interventies via regelmatige technische opvolgingsmissies. De evaluatie heeft geen bewijzen gevonden dat deze ondersteuning zich daadwerkelijk op lange-termijn richt die de interventiecyclus overstijgen. Duurzaamheid komt hierbij dan ook niet of nauwelijks aan de orde. De kapitalisatie richt zich vooral op korte-termijn succesverhalen. Dit is een gemiste kans.

Invloed van de beheerscontracten

De verschillen in de beheerscontracten tussen de Belgische Staat en BTC en de invloed op de kwaliteit van de directe gouvernementele ontwikkelingssamenwerking komen in twee rapporten van de DBE naar voren uit respectievelijk 2006 (voor wat betreft de eerste twee beheerscontracten) en 2010 (voor wat betreft de eerste drie beheerscontracten met als doel om concrete aanbevelingen voor het vierde beheerscontract te geven).15

15 DBE, ECORYS en South Research, Evaluatie van de directe bilaterale ontwikkelingssamenwerking 1999-2005, 2006 DBE, ECORYS en South Research, Studie naar de beheerscontracten van de Belgische Technische Coöperatie, 2010

In de beheerscontracten komen de hoofdlijnen van de taakverdeling tussen DGD en BTC naar voren, maar ook buiten de beheerscontracten worden afspraken vastgelegd zoals afspraken rond de begrotingshulp en de uitsluiting van de attaché van de Gemengde Lokale Overlegstructuur GLOS. Er is in de loop van de jaren, onder de verschillende beheerscontracten, veel aandacht besteed aan de verdeling van taken en verantwoordelijkheden. In grote lijnen geldt dat de verantwoordelijkheden van BTC in de projectcyclus, zoals vastgelegd in de beheerscontracten, zijn toegenomen, terwijl de verantwoordelijkheden van DGD zijn afgenomen. DGD en de attachés zijn nu vooral verantwoordelijk voor de beleidsvoorbereiding en de beleidsdialoog. Dit betreft de ISPs en de identificatie, die de verantwoordelijkheid is geworden van het partnerland en lichter is geworden voor DGD in de loop der jaren. BTC heeft de verantwoordelijkheid vanaf de formulering tot en met de evaluatie van de interventies. Terwijl in het derde beheerscontract een jaarlijkse evaluatie van de kwaliteit van de prestaties van BTC door

58

DBE is voorzien, is dit met het vierde beheerscontract niet meer het geval. Echter deze wijziging is nog niet doorgevoerd aangezien certificering van het BTC evaluatiesysteem door DBE nog niet heeft plaats gevonden.

Uit de verschillende studies komt duidelijk naar voren dat de aard van de samenwerkingsrelatie tussen DGD en BTC, en in het bijzonder tussen de attaché in het partnerland en de BTC-vertegenwoordigers ter plaatse van invloed is op de kwaliteit van de prestaties en daarmee ook op de duurzaamheid van de resultaten. In de verschillende beheerscontracten zijn wel clausules opgenomen die een verbetering van de samenwerking en uitwisseling van informatie bevorderen zoals de ondersteuning door technische samenwerkingsdeskundigen bij de sectorale beleidsdialoog en de waarnemersstatus van BTC bij de Gemengde Commissie. Zoals gezegd is de verantwoordelijkheid van BTC toegenomen en van DGD afgenomen en dit heeft ook te maken met de beschikbare capaciteit die vrij beperkt is voor DGD. Om duurzame resultaten in een sector te bereiken zijn niet alleen de (project) interventies van belang, maar is ook de beleidsdialoog een zeer belangrijke input om tot duurzame resultaten te komen. Daarom is een goede samenwerking en uitwisseling van informatie tussen DGD en BTC van groot belang.

De bevindingen van deze evaluatie laten niet toe om een duidelijke relatie vast te stellen tussen de verschillende beheerscontracten en de duurzaamheid van resultaten. We stelden reeds vast dat de externe factoren van groot belang zijn en dat veel van de externe factoren niet direct door België beïnvloed kunnen worden. Het feit dat verantwoordelijkheden van de Belgische actoren, in het bijzonder van DGD en BTC, in de loop der jaren anders zijn gedefinieerd, kan theoretisch van invloed zijn op de duurzaamheid van de resultaten. Het is echter vooral de kwaliteit van de verschillende onderdelen van de beleidscyclus die telt en niet primair wie de verantwoordelijkheid heeft. Zoals gezegd wordt die kwaliteit mede bepaald door de aard en de kwaliteit van de samenwerking.

De relatie tussen de Belgische Staat en BTC, zoals die is vastgelegd in de vier beheerscontracten tot op heden, is gebaseerd op het bestuurskundige principe van de scheiding tussen beleid en uitvoering. Dit is een waardevol principe voor een efficiënt beleidsproces en transparante verantwoording van de overheid naar de burgers. Dit principe houdt in dat, hoewel de rollen en verantwoordelijkheden in de verschillende onderdelen van de beleidscyclus duidelijk gescheiden zijn tussen de beleidsmaker enerzijds (DGD in dit geval) en de uitvoerder anderzijds (BTC in dit geval), er sprake moet zijn van goede samenwerking en terugkoppeling om de beleidsdoelen te realiseren. In de praktijk betekent dit dat BTC als uitvoerend agentschap de verantwoordelijkheid heeft voor de interventiecyclus van de gouvernementele samenwerking. Dit betreft verschillende soorten interventies: projecten, programma’s en budgetsteun. De beleidsbepaling, de beleidsvoorbereiding en de beleidsevaluatie zijn primair de verantwoordelijkheid van de Belgische Staat. Ook andere donoren maken een dergelijk onderscheid, hoewel slechts een beperkt en afnemend aantal donoren een apart agentschap heeft voor de uitvoering van ontwikkelingssamenwerkingsbeleid.

De verschillende jaarlijkse evaluaties door DBE van de kwaliteit van de prestaties van BTC die zich uitstrekken naar de gehele bilaterale gouvernementele samenwerking lijken aan te geven dat sinds het derde beheerscontract de kwaliteit van de formulering wel geleidelijk verbeterd is en ook dat de kwaliteit van de reguliere evaluaties door BTC op orde is. Zoals hiervoor is aangetoond is vooral de kwaliteit van de formulering van belang voor het realiseren van duurzame resultaten. Daarbij is het van belang dat in de formulering ook aandacht wordt besteed aan de punten die in de beleidsdialoog naar voren zouden moeten komen om duurzame resultaten te realiseren. Daaraan ontbreekt het nu veelal. Echter het is vooral de som der delen, d.w.z. de verschillende onderdelen van de beleids- en projectcyclus in combinatie met de contextfactoren, die de duurzaamheid van de resultaten beïnvloedt. Dit overstijgt het niveau van de beheerscontracten.



4. Conclusies, lessen en aanbevelingen

4.1 Conclusies en lessen

In deze paragraaf komen kort de belangrijkste conclusies naar voren, evenals de lessen die uit de conclusies voortvloeien.

Conclusie 1. Terwijl slechts vier van de tien uitgebreid onderzochte afgelopen interventies als effectief kunnen worden beoordeeld, d.w.z. dat de meeste van de geplande outputs en outcomes gerealiseerd zijn, zegt dit weinig over de duurzaamheid.

In deze evaluatie zijn tien geselecteerde interventies meer diepgaand onderzocht. De nadruk lag daarbij niet op de beoordeling van de effectiviteit, maar juist op het vaststellen van resultaten bij afloop van de interventies om na te gaan in hoeverre deze resultaten duurzaam zijn geweest. De landenonderzoeken tonen aan dat zes van de tien interventies slechts gedeeltelijk effectief zijn geweest, d.w.z. dat slechts een deel van de geplande outputs en outcomes is gerealiseerd. Er is echter geen direct verband tussen de mate van effectiviteit van de interventies en de duurzaamheid van resultaten. Zo bleek voor enkele interventies in de arme Chayanta-provincie van Bolivia dat die nauwelijks tot positieve resultaten hadden geleid bij afloop van de projecten. Het onderzoek toonde aan dat de gemeenten de activiteiten hebben voortgezet en dat er wel degelijk enige jaren later enkele duurzame resultaten op output- en outcomeniveau zichtbaar zijn. Dit betreft zowel de landbouw als de gezondheidssector in Bolivia (drie van de vier interventies), waarbij de uiteindelijke resultaten wel achter zijn gebleven bij de oorspronkelijke doelstellingen. Ondanks het grotendeels negatieve oordeel over de effectiviteit, is het oordeel over de duurzaamheid van de resultaten die wél gerealiseerd zijn in Bolivia, grotendeels positief. In Benin zijn drie van de zes geselecteerde interventies – allen in de gezondheidssector – als effectief beoordeeld, waarbij er bij afloop van de projecten sprake was van duidelijke outputs en outcomes in lijn met de planning. Aangezien in Benin de ondersteuning in dezelfde sectoren en dezelfde departementen steeds is voortgezet, kan de daadwerkelijke duurzaamheid van resultaten na stopzetting van de hulp (nog) niet goed worden vastgesteld. Er kan dus slechts een inschatting worden gemaakt.

Les 1: Duurzaamheid kan slechts zeer gedeeltelijk worden beoordeeld tijdens de uitvoering van interventies. De potentiele duurzaamheid op het moment van uitvoering of bij afloop van de interventies kan zeer verschillend zijn van de uiteindelijke duurzaamheid.

Conclusie 2: De duurzaamheid van resultaten van de Belgische gouvernementele samenwerking is beter gegarandeerd in Bolivia dan in Benin, wat in belangrijke mate te verklaren is door verschillen in contextuele factoren.

Daar waar de Belgische gouvernementele ontwikkelingssamenwerking tot positieve resultaten heeft geleid – zowel op vlak van outputs als outcomes – blijken die resultaten na afloop van de interventies over het algemeen duurzamer te zijn in Bolivia dan in Benin. De analyse van de duurzaamheid van resultaten in de twee landen geeft aan dat een positieve context zoals die zich voordeed vanaf 2006 in Bolivia van doorslaggevend belang is. Zelfs in armere regio’s in Bolivia waar België de interventies al enige tijd

60

geleden had beëindigd, bleek er sprake te zijn van voortzetting van de activiteiten en duurzame resultaten. Bolivia heeft nog steeds te kampen met grote ongelijkheid, maar dat wordt erkend als een nationale prioriteit waarvoor beleid is ontwikkeld en wordt uitgevoerd. De rol van donoren is al sterk verminderd en dit proces zal zich voortzetten de komende jaren. De positieve ontwikkelingen van de context in Bolivia, zowel op socio-economisch, politiek en institutioneel gebied zorgen voor een omgeving waarin resultaten een grotere kans hebben te beklijven.

De duurzaamheid van resultaten in Benin kon echter in feite niet goed beoordeeld worden, omdat de Belgische samenwerking in dezelfde sectoren in dezelfde regio’s al decennialang voortgezet wordt tot op vandaag. In Benin is er ook wel sprake geweest van enkele positieve ontwikkelingen in de context, maar die blijven vooralsnog beperkt, wat invloed heeft op het vaststellen van duurzame resultaten.

Les 2: De duurzaamheid van resultaten is zeer sterk contextafhankelijk en dit vergt een gedifferentieerde en contextspecifieke aanpak van de Belgische coöperatie om de duurzaamheid voldoende te verankeren in de landenstrategieën (ISP) en de bijbehorende interventies.

Conclusie 3: De keuze om de Belgische gouvernementele ontwikkelingssamenwerking met een partnerland te concentreren in niet meer dan twee sectoren en ook geografisch te begrenzen kan de potentiële duurzaamheid verhogen, maar in de praktijk is er vrijwel geen aandacht besteed aan factoren die de duurzaamheid daadwerkelijk beïnvloeden.

In de ISPs komt duurzaamheid niet of nauwelijks expliciet aan de orde. Dit leidt ertoe dat er geen duidelijke punten m.b.t. duurzaamheid zijn geïdentificeerd die in de beleidsdialoog aan de orde zouden moeten komen en die vanaf het moment van de formulering van interventies aandacht zouden moeten krijgen.

De Belgische gouvernementele ontwikkelingssamenwerking is geconcentreerd op –in principe- twee sectoren per partnerland. Daarbij is het uitgangspunt om een coherent pakket aan interventies uit te voeren, dat ook wel een sectorale benadering of portefeuille benadering wordt genoemd. De sectorondersteuning is niet afgebakend in de tijd en er zijn geen exit- of transitiestrategieën voorzien. Dit komt de duurzaamheid niet ten goede. Verder worden de randvoorwaarden die vervuld dienen te zijn om een daadwerkelijke sectorbenadering uit te voeren onvoldoende geanalyseerd en gemonitord. Zo ontbreekt het in Benin aan gezamenlijke strategie van de overheid en donoren.

België kiest er toch voor om zo goed als mogelijk een strategie van sectorondersteuning op verschillende niveaus uit te voeren. Daarbij staat institutionele versterking van de overheid op verschillende niveaus centraal, vaak met inzet van technische assistentie. Dit is een moedige keuze, die echter aanzienlijke risico’s met zich meebrengt, omdat het ambitieniveau van de (bepekte Belgische) interventies vrijwel gelijk is aan een sectorbrede benadering door meerdere donoren. Die risico’s zijn momenteel onvoldoende in kaart gebracht en kunnen dus ook niet worden gemonitord met het oog op duurzame resultaten. Het verband tussen de interventies enerzijds en de noodzaak van een constructieve op veranderingen gerichte brede beleidsdialoog anderzijds is onvoldoende helder.

De geografische concentratie van de Belgische gouvernementele ontwikkelingssamenwerking in een bepaald gebied kan onder bepaalde voorwaarden de duurzaamheid van resultaten ten goede komen. De keuze die in 2000 in de samenwerking met Bolivia is gemaakt om zich te richten op één van de armere provincies heeft tot veel debat geleid, omdat het onmogelijk zou zijn om hier tot duurzame resultaten te komen. Dit is echter grotendeels gelogenstraft in de praktijk, vooral omdat de overheid middelen vrijmaakt om de arme bevolking te ondersteunen.



Les 3: Bij de formulering van ISPs en de daarop volgende formulering van interventies zouden factoren die duurzaamheid beïnvloeden systematisch in beeld moeten worden gebracht en mee worden opgenomen in de beleidsdialoog.

Conclusie 4: De Belgische coöperatie heeft relatief veel aandacht besteed aan de politieke en institutionele duurzaamheid zowel in Benin als in Bolivia, maar toch is de politieke en institutionele duurzaamheid van de behaalde resultaten duidelijk beter in Bolivia dan in Benin.

Zowel in de ISPs als in de formulering van interventies wordt relatief veel aandacht besteed aan de overeenstemming van het (sector)beleid van het partnerland met de uitgangspunten van de Belgische ontwikkelingssamenwerking en aan de institutionele analyse. Een eerste voorwaarde voor duurzame resultaten van interventies die door de overheid moeten worden voortgezet is een goed beleid bestaande uit algemeen beleid en sectorbeleid. Hier is in beide landen en in beide sectoren aan voldaan gedurende de hele periode van ondersteuning. In de praktijk is het vooral van belang of de beleidsintenties ook daadwerkelijk worden uitgevoerd en leiden tot hervormingen. Daarvoor is goed politiek leiderschap noodzakelijk. Daaraan ontbrak het in Benin, terwijl vanaf 2006 in Bolivia met het aantreden van de nieuwe regering Morales er wel een duidelijke hervormingslijn is ingezet. De politieke duurzaamheid wordt op grond van deze indicatoren positiever beoordeeld in Bolivia dan in Benin.

Beide landen vertonen institutionele zwakheden die de duurzaamheid van resultaten bedreigen. In Bolivia vormen de gemeenten een belangrijke factor voor de institutionele duurzaamheid en het is op dit niveau dat de Belgische samenwerking zich heeft geconcentreerd, waarbij er nog wel sprake is van spanning tussen de verschillende niveaus. België had in Bolivia wel meer aandacht kunnen besteden worden aan de verbindingen tussen het gemeentelijke en het departementale en nationale niveau. In Benin hanteert België echter juist het principe van dubbele verankering door ondersteuning op het niveau van sectorale ministeries te combineren met steun op departementaal en lokaal niveau. Dit is een interessante strategie die duurzaamheid kan bevorderen, mits er sprake is van een duidelijke uitvoering van het sectorbeleid met de bijpassende hervormingen door de overheid van Benin. Dit is echter niet het geval, waardoor de institutionele duurzaamheid problematisch blijft. Dit geldt ook voor de financieel-economische duurzaamheid op het niveau van de instituties die zeer onderbelicht is gebleven.

In het algemeen geldt dat de beoordeling van politiek-institutionele factoren die de politieke en ook institutionele duurzaamheid beïnvloeden tot op heden teveel gericht is geweest enkel op overeenstemming tussen het beleid van het partnerland en het Belgische beleid voor ontwikkelingssamenwerking. Dit is een noodzakelijke, maar niet voldoende voorwaarde voor deze duurzaamheid. Het gaat met name om de daadwerkelijke uitvoering van beleid en de politieke wil om de noodzakelijke hervormingen door te voeren.

Les 4: Terwijl in de praktijk de politieke en institutionele duurzaamheid de meeste aandacht heeft gekregen in de Belgische gouvernementele samenwerking, hadden de risico’s van de sectorondersteunende strategieën beter ingeschat kunnen worden om op die manier een relatie te leggen met de beleidsdialoog.

62

Conclusie 5. De Belgische coöperatie heeft geen systematische aandacht gehad voor de duurzaamheid van de resultaten op het niveau van de bevolkingsgroepen.

De Belgische gouvernementele samenwerking is vooral gericht op het versterken van de overheidsinstituties die diensten zouden moeten leveren aan de bevolking. Daarnaast is er in beperkte mate aandacht besteed aan het opzetten en/of versterken van organisaties vanuit de bevolking zoals producentengroepen in de landbouw en gezondheidsplatformen in de gezondheidszorg. In beide landen en beide sectoren is er geen duidelijke analyse gemaakt van de dynamiek onder de verschillende bevolkingsgroepen en de verschillende behoeften waar de interventies op hadden kunnen inspelen. Dat geldt in de eerste plaats voor het onderscheid tussen mannen en vrouwen. Er is geen bijdrage geleverd aan een grotere gendergelijkheid, laat staan een duurzame bijdrage daaraan. Tevens hebben de interventies nauwelijks aandacht besteed aan het vertrouwen van de bevolking in de overheid en met name de capaciteit van de overheid om op een transparante wijze kwalitatief goede diensten te leveren. In Bolivia is wel meer systematisch gewerkt met verschillende producentengroepen, maar dit berustte niet op een grondige analyse van de productiesystemen. In de gezondheidszorg in Bolivia is er aangesloten bij lokale gebruiken en was het communicatiemateriaal op maat van de verschillende bevolkingsgroepen gemaakt. In Benin zijn er initiatieven gestart om de bevolking bij de interventies te betrekken zoals de oprichting van gezondheidsplatformen, waarvan niet bekend is in hoeverre deze zullen beklijven na afloop van de interventies.

Les 5: Mede op basis van enkele positieve voorbeelden waarbij de duurzaamheid op het niveau van de bevolkingsgroepen bij uitzondering wel voldoende aandacht heeft gekregen, zouden de interventies beter gericht moeten worden op de noden van verschillende bevolkingsgroepen, inclusief het onderscheid tussen mannen en vrouwen, teneinde duurzame resultaten te realiseren.

Conclusie 6: Ondanks het gebrek aan systematische aandacht voor technologische en ecologische duurzaamheid, zijn er zowel positieve als negatieve voorbeelden van duurzame resultaten na afloop van de interventies

De positieve voorbeelden van technologische en ecologische duurzame resultaten hebben betrekking op de succesvolle introductie van biologische landbouw en de aanleg van goed functionerende en onderhouden irrigatiesystemen in Bolivia. Een ander voorbeeld is de succesvolle introductie van adequate systemen voor biomedisch afval in zowel Bolivia als Benin. Daarnaast kan genoemd worden het adequate gebruik en onderhoud van medische en laboratoriumapparaten. De negatieve voorbeelden daarentegen hebben vooral betrekking op het gebrek aan aandacht voor gevolgen van klimaatverandering op landbouw in Benin. De aandacht is vrijwel volledig uitgegaan naar verhoging van de productie, zonder daarbij voldoende na te gaan of de introductie van nieuwe landbouwtechnieken en gewassen ecosystemen niet zal verstoren in dit ecologisch fragiele gebied.

Les 6: Technologische en ecologische duurzaamheid is nu meer de toevallige uitkomst van bepaalde interventies en niet het resultaat van goed onderbouwde veranderingstheorie waarbij de aannames die ten grondslag liggen aan de introductie van technologische en andere innovaties expliciet worden gemaakt.



Conclusie 7: Ondanks een geleidelijke verbetering van de kwaliteit van de formulering van interventies, is er geen sprake van duidelijke aandacht voor duurzaamheid tijdens de formulering en wordt geen aandacht besteed aan overdracht van activiteiten en exit-of transitie strategieën bij afloop van de interventies

BTC is conform haar mandaat vooral gericht op de interventiecyclus, waarbinnen in de loop der jaren de resultaatgerichtheid wel verbeterd is, maar waarbij duurzaamheid nauwelijks een rol speelt. De kwaliteit van de formulering van de verschillende interventies is variabel, hoewel in de loop der jaren de kwaliteit wel verbeterd is. Zo poogt BTC wel baselinestudies uit te voeren teneinde de uitgangswaarden voor de belangrijkste indicatoren in het M&E-systeem vast te stellen. Deze baseline studies zijn echter vrij beperkt en omvatten geen surveys onder de bevolking. Op basis van deze baselinestudies kunnen geen Randomised Control Trials worden opgezet. Daarnaast wordt noch in de identificatie, noch in de formulering daadwerkelijk aandacht aan de overdracht van activiteiten en worden geen exit-of transitie strategieën ontwikkeld. Evenmin worden de voorwaarden waaronder de activiteiten zouden kunnen worden voortgezet zonder donorondersteuning duidelijk geïdentificeerd. Ook komen in de formulering van concrete interventies geen punten naar voren die in de beleidsdialoog aan de orde zouden moeten komen om duurzame resultaten te realiseren.

Les 7: De kwaliteit van de formulering met aandacht voor duurzaamheid is een belangrijke factor die duurzaamheid positief kan beïnvloeden en waar verdere verbetering noodzakelijk is.

Conclusie 8: De kwaliteit van de monitoring en evaluatie is de afgelopen jaren verbeterd, maar blijft vooral gericht op het outputniveau tijdens de interventiecyclus waardoor duurzaamheid van resultaten te weinig aan bod komt. Dit geldt ook voor de wetenschappelijke ondersteuning en kapitalisatie.

De monitoring en evaluatie door BTC beperkt zich tot de projectcyclus. In de loop der jaren is zowel de resultaatgerichtheid van BTC als de kwaliteit van de monitoring en evaluatie verbeterd. Aan de hand van de logframes ligt de nadruk in eerste instantie op de realisatie van outputs en in mindere mate op outcomes. Voor vrijwel alle interventies worden zowel tussentijdse als eindvaluaties uitgevoerd, waarbij de (potentiële) duurzaamheid enigszins aan de orde komt. Duurzaamheid krijgt vrij weinig aandacht binnen het M&E-systeem van BTC, hetgeen ook niet te verwachten is omdat noch in de ISPs noch in de projectformulering duurzaamheid een prioriteit is. Het is wel een gemiste kans dat ook de kapitalisatie en wetenschappelijke ondersteuning van BTC zich vooral op de korte termijn en zichtbaarheid van de interventies richten, terwijl dit bij uitstek instrumenten zouden kunnen zijn waarbij overkoepelende thema’s en een lange-termijn visie inclusief duurzaamheid aan de orde zouden kunnen komen.

In het verleden richtten de jaarlijkse evaluaties door DBE van de kwaliteit van de prestaties van BTC zich ook op specifieke interventies, maar de laatste jaren is er o.a. gekozen voor een focus op impact en duurzaamheid. Dit is een positieve ontwikkeling, omdat een andere invalshoek wenselijk is.

Les 8: Bij de monitoring en evaluatie van interventies door BTC en vooral bij de kapitalisatie en wetenschappelijke ondersteuning zouden de voorwaarden om tot duurzame resultaten te komen veel meer aandacht verdienen. De DBE-evaluaties zouden zich niet op duplicatie van evaluaties van interventies moeten richten, maar juist moeten kiezen voor een overkoepelende en op de lange termijn gerichte invalshoek.

64

Conclusie 9: Hoewel de gezondheidssector en de landbouwsector belangrijke verschillen vertonen die potentieel van invloed zijn op de duurzaamheid van resultaten, vertoont de beoordeling van duurzaamheid voor de beide sectoren slechts geringe verschillen.

De Belgische gouvernementele samenwerking heeft zich in Benin en Bolivia vooral gericht op de institutionele ondersteuning van de overheid. De ondersteuning van de landbouwsector in Bolivia vormt daar deels een uitzondering op, omdat daar de aandacht in eerste instantie meer is uitgegaan naar de ondersteuning van producentengroepen met behulp van de gemeentes. Pas in een later stadium is daar het verband met de landbouwdiensten op departementaal en nationaal niveau bijgekomen. In Benin is de nadruk geleidelijk komen te liggen op ondersteuning van de landbouwdiensten op verschillende niveaus en minder op producentengroepen. Om duurzame resultaten in de beide sectoren te realiseren moet er voldoende aandacht zijn voor de juiste keuze van interventies, inclusief een goede balans tussen interventies op nationaal en lokaal niveau. Voor de gezondheidssector dient specifieke aandacht te worden besteed aan de financieel-economische duurzaamheid naast de andere aspecten van duurzaamheid. Voor de landbouwsector zou de ecologische en technologische duurzaamheid meer aandacht moeten hebben. Voor beide sectoren geldt dat indien er geen sprake is van een gezamenlijke sectorbenadering door de overheid van het partnerland en de donoren, de Belgische samenwerking zorgvuldig zou moeten overwegen wat zij op lange termijn kan bijdragen en wat daarvoor de voorwaarden zijn die in de beleidsdialoog naar voren zouden moeten komen.

Les 9: In de gezondheidssector zou de aandacht voor zowel de vraag- als de aanbodzijde gecontinueerd moeten worden, maar met meer oog voor de verschillende aspecten van duurzaamheid, in het bijzonder ook de financieel-economische duurzaamheid. In de landbouwsector zou de overheid de goede voorwaarden moeten creëren om de landbouwproductie duurzaam te verbeteren, waarbij de lessen uit Bolivia aangeven dat een bottom-up aanpak via boerenorganisaties en gemeentes, mits voldoende gekoppeld aan het departementaal en nationaal niveau zeker ook succesvol kan zijn. Daarbij verdient de ecologische en technologische duurzaamheid bijzondere aandacht naast de andere aspecten van duurzaamheid.

Conclusie 10: Er is geen duidelijke relatie vast te stellen tussen de verschillende beheerscontracten en de duurzaamheid van de resultaten van de Belgische gouvernementele samenwerking.

De relatie tussen de Belgische Staat en BTC, zoals die is vastgelegd in de vier beheerscontracten tot op heden, is gebaseerd op het bestuurskundige principe van de scheiding tussen beleid en uitvoering. Dit principe houdt in dat, hoewel de rollen en verantwoordelijkheden in de verschillende onderdelen van de beleidscyclus duidelijk gescheiden zijn tussen de beleidsmaker enerzijds (DGD in dit geval) en de uitvoerder anderzijds (BTC in dit geval), er sprake moet zijn van goede samenwerking en terugkoppeling om de beleidsdoelen te realiseren en daarmee ook duurzame resultaten te realiseren. In grote lijnen geldt dat de verantwoordelijkheden van BTC in de projectcyclus, zoals vastgelegd in de vier beheerscontracten tot op heden, zijn toegenomen, terwijl de verantwoordelijkheden van DGD zijn afgenomen. In het recente verleden is, sinds de oprichting van BTC, noodzakelijkerwijs veel aandacht uitgegaan naar de duidelijke scheiding van taken en verantwoordelijkheden van DGD en BTC. Dit houdt het risico in dat de beleids-en projectcyclus te gefragmenteerd wordt en het zicht op duurzame resultaten verloren gaat. Deze evaluatie en eerdere evaluaties van de kwaliteit van de prestaties van BTC tonen aan dat de aard van de samenwerkingsrelatie tussen DGD en BTC, en in het bijzonder tussen de attaché in het partnerland en de BTC-vertegenwoordigers ter plaatse van invloed is op de kwaliteit van de prestaties en daarmee ook op de duurzaamheid van de resultaten. Het realiseren van duurzame resultaten is immers de gezamenlijke verantwoordelijkheid van alle actoren. Dit vereist goede samenwerking en continue uitwisseling van informatie. In de praktijk hebben in



beide onderzochte partnerlanden DGD en BTC de laatste jaren wel goed samengewerkt, maar ontbrak het aan een duidelijke focus op duurzaamheid.

Les 10: Via verder verbeterde samenwerking tussen DGD en BTC op alle niveaus, op basis van duidelijk onderscheiden rollen en verantwoordelijkheden die gebaseerd zijn op het principe van scheiding tussen beleid en uitvoering, kan duurzaamheid systematisch bevorderd worden

4.2 Aanbevelingen

In deze paragraaf presenteren we een aantal aanbevelingen die gegroepeerd zijn per belangrijkste actoren voor wie ze bestemd zijn. De aanbevelingen zijn uiteraard gebaseerd op de bevindingen uit deze evaluatie die betrekking heeft op twee landen, Benin en Bolivia, en twee sectoren, namelijk landbouw en gezondheid. Gedetailleerde lessen en aanbevelingen voor de twee landen zijn opgenomen in de landenrapporten. Ook de nota met methodologische lessen bevat specifieke aanbevelingen (zie bijlage 7), terwijl de belangrijkste methodologische aanbevelingen hieronder zijn weergegeven. De hier gepresenteerde aanbevelingen zijn mede gebaseerd op eerdere evaluaties van de prestaties van BTC en op internationale literatuur. De aanbevelingen zijn zeker niet specifiek gericht op fragiele staten waar de problematiek nog complexer is en de rol van de overheid zeer problematisch is. Maatwerk is dus nodig voor specifieke sectoren, specifieke contextsituaties en specifieke landen.

Aanbevelingen voor alle actoren:

1. De samenwerking tussen alle direct betrokken actoren van de Belgische gouvernementele samenwerking, d.w.z. DGD inclusief de attachés op de ambassades, BTC en de verantwoordelijken in de partnerlanden, zou verder geïntensifieerd moeten worden om de duurzaamheid van de resultaten te verbeteren, waarbij vooral een grotere aandacht voor de verschillende aspecten van duurzaamheid in de ISPs en de beleidsdialoog met het partnerland prioritair is, gevolgd door duurzaamheid van de door BTC uitgevoerde interventies.

2. Er zou expertise op het gebied van duurzaamheid moeten worden ontwikkeld bij de verschillende actoren van de Belgische coöperatie. Aangezien duurzaamheid een heel breed terrein omvat betreft dit ook de dwarsdoorsnijdende thema’s zoals gender en het leefmilieu die verband houden met de sociaal-culturele en ecologische duurzaamheid. Dit zou onderdeel moeten zijn van de reguliere trainingsprogramma’s en opgenomen moeten worden in de systemen van kennisontwikkeling.

3. Een reflectie op de doelmatigheid en doeltreffendheid van alle inspanningen betreffende monitoring, evaluatie, kapitalisatie en wetenschappelijke ondersteuning van de Belgische gouvernementele samenwerking is zeer aan te bevelen. Daarbij is BTC verantwoordelijk voor M&E tijdens de interventiecyclus, waarbij BTC meer aandacht zou kunnen besteden aan monitoring van duurzaamheidsindicatoren die tijdens de formulering zijn geïdentificeerd. Ook zou BTC impactevaluaties via Randomised Control Trials (RCTs) kunnen starten om daarvan te leren. Gezien de noodzaak van daadwerkelijk onafhankelijke en overkoepelende evaluaties van de gehele Belgische ontwikkelingssamenwerking zou DBE zich nog meer op overkoepelende evaluaties kunnen richten waar duurzaamheid een belangrijk onderdeel vanuit maakt. Daarbij kan gebruik gemaakt worden van het analysekader met de zeven aspecten van duurzaamheid en zouden ook meer innovatieve methoden ingezet moeten worden.

66

Aanbevelingen voor DGD:

4. DGD zou meer systematisch aandacht aan duurzaamheid in de ISPs moeten besteden. Dit houdt in dat de factoren geïdentificeerd moeten worden die duurzaamheid beïnvloeden op sectorniveau en ook voor de geografische gebieden waar de samenwerking is geconcentreerd. Er zouden afspraken gemaakt moeten worden over overdracht van activiteiten naar de autoriteiten in het partnerland. Die afspraken in de ISP zouden ook de agenda moeten vormen voor de bilaterale beleidsdialoog via het partnercomité en tevens ingebracht kunnen worden op de gezamenlijke sectordialoog tussen de overheid en donoren.

5. Het verdient aanbeveling om een bepaalde termijn af te spreken voor de samenwerking in een bepaalde sector. Dit betekent dat er per sector steeds wordt nagedacht over een exit- of transitiestrategie. Het is mogelijk dat besloten wordt de samenwerking voort te zetten, maar in een geheel andere vorm, bijvoorbeeld via universitaire samenwerking. Het vaststellen van een termijn voor de sectorale samenwerking kan te veel gewenning in de samenwerkingsrelatie voorkomen en de focus op duurzame resultaten vergroten. De termijn van vier jaar voor interventies kan wel gehandhaafd blijven, mits in de praktijk die termijn flexibel gehanteerd wordt.

6. Voor partnerlanden die snelle economische groei vertonen en die binnen afzienbare tijd de middeninkomensstatus bereiken is het van belang om tijdig een exit- of transitiestrategie uit te werken. Die strategieën zouden een bepaalde tijdsperiode moeten beslaan, waarbij in de uitvoering enige flexibele aanpassing mogelijk is om duurzaamheid te borgen.

7. De focus op een goede beleidsdialoog zou verder versterkt moeten worden, mede op basis van factoren die in de ISP, maar ook in de formulering van interventies zijn gesignaleerd. Bij uitblijven van noodzakelijke hervormingen of achterblijven van financiële inspanningen, zou dit consequenties moeten hebben voor de aard en de invulling van de samenwerkingsrelatie. Dit betreft zowel de bilaterale beleidsdialoog als de bredere beleidsdialoog die ook op specifieke sectoren is gericht, waarbij belangrijke thema’s zoals de uitvoering van beleid, het doorvoeren van hervormingen en financieringsvraagstukken aan de orde moeten komen.

Aanbevelingen voor BTC:

8. BTC zou in de formulering van interventies meer expliciet aandacht moeten geven aan factoren die de duurzaamheid beïnvloeden en die tijdens de uitvoering gemonitord zouden moeten worden. Ook de factoren die in de beleidsdialoog aan de orde zouden moeten komen, moeten tijdens de formulering worden vastgesteld, waarbij overdracht van de activiteiten inclusief financiering en het personeelsverloop specifiek aan de orde moeten komen. Dit vereist goede samenwerking met DGD. In de formulering zou voldoende aandacht aan overdracht van activiteiten besteed moeten worden.

9. BTC zou in overleg met DGD nieuwe interventies moeten selecteren waarvoor uitgebreide baselinestudies worden uitgevoerd incl. surveys uit te voeren en die zich lenen voor impactevaluaties met behulp van RCTs waaruit lering getrokken kan worden. Aangezien impactevaluaties zeer kostbaar zijn, zou het over het geheel aan BTC interventies maar om een beperkt aantal van 4-6 interventies moeten gaan in verschillende partnerlanden en verschillende sectoren.

10. BTC zou nog zorgvuldiger kunnen nadenken over de inzet van en het aantal technische assistenten en samenwerkingsdeskundigen op verschillende niveaus, waarbij nagegaan moet worden in hoeverre TA kan bijdragen aan de verschillende aspecten van duurzaamheid en hoe het risico van substitutie ondervangen kan worden.

11. BTC zou kunnen nagaan op welke wijze het huidige M&E-systeem, de kapitalisatie en de wetenschappelijke ondersteuning meer op de lange termijn gericht kan worden, d.w.z. op outcomes, impact en duurzame resultaten. Daarbij zou ook nagedacht kunnen worden over de inzet van universiteiten en



onderzoeksinstituten in de partnerlanden, eventueel in samenwerking met Europese universiteiten en onderzoeksinstituten.

Aanbevelingen voor de partnerlanden:

12.Partnerlanden zouden voldoende aandacht moeten besteden aan de verschillende aspecten van duurzaamheid in de bilaterale beleidsdialoog met België, maar vooral ook in de algemene en sectordialoog met de verschillende donoren. Daarvoor moeten indicatoren vastgesteld worden die gemonitord worden bij de beleidsdialoog.

13.Partnerlanden zouden moeten streven naar een langetermijnplanning van donorondersteuning per sector met een balans tussen de verschillende hulpmodaliteiten. Daarbij is het wenselijk om verschillende scenario’s voor de afbouw van de ondersteuning te ontwikkelen aan de hand van exit- en transitiestrategieën van donoren.


Lijst van bijlagen

Bijlage A: Opdrachtomschrijving

Bijlage B: Evaluatiematrix

Bijlage C: Lijst met geraadpleegde documenten

Bijlage D: Leden van het begeleidingscomité

Bijlage E: Landenrapport Benin (in apart document)

Bijlage F: Landenrapport Bolivia (in apart document)

Bijlage G: Nota met methodologische lessen (in apart document)


Bijlage A: Opdrachtomschrijving

Technische voorschriften voor de ex-post evaluatie van de duurzaamheid van 10 interventies van de Belgische

gouvernementele samenwerking

B0.

De Directie-Generaal Ontwikkelingssamenwerking (DGD) van de FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking definieert, samen met elk van de 18 partnerlanden van de Belgische ontwikkelingssamenwerking, het te voeren beleid van de Belgische samenwerking in het land in kwestie. Dit gebeurt middels een Indicatief Samenwerkingsprogramma (ISP), dat vastgelegd wordt voor 4 jaar. In het kader van de Europese Gedragscode (Gedragscode inzake de complementariteit en de taakverdeling binnen het ontwikkelingsbeleid, COM(2007) 72) beperkt België zich hierbij sinds 2007 tot 2 sectoren per land. In de praktijk betekent dit dat de beperking geldt voor ISP’s afgesloten na 2008. Voor de Democratische Republiek Congo, Rwanda en Burundi zijn er 3 prioritaire sectoren. DGD heeft de verantwoordelijkheid voor de beleidsdialoog met het partnerland, het vastleggen van het ISP en de identificatie van de verschillende interventies die binnen dat ISP uitgevoerd zullen worden. De Belgische Technische Coöperatie (BTC), die de exclusiviteit heeft op de uitvoering van de Belgische gouvernementele ontwikkelingssamenwerking, is verantwoordelijk voor de formulering en uitvoering van de interventies in het ISP.

De vorm en inhoud van de samenwerking tussen de Belgische Staat en de Belgische Technische Coöperatie (BTC) werd vastgelegd in een beheerscontract. Momenteel vigeert het vierde beheerscontract, dat in werking trad op 15 september 2014.

Het vierde beheerscontract tussen de Belgische Staat en BTC is een bijlage aan het koninklijk besluit van 10 april 2014 houdende instemming met het vierde beheerscontract tussen de Belgische Staat en de naamloze vennootschap van publiek recht met sociaal oogmerk “Belgische Technische Coöperatie”.

Artikel 15 van het vierde beheerscontract betreffende ‘Evaluatie en externe controles’ stelt: 1° De kwaliteitszorg van BTC wordt om de drie jaar in haar activiteiten van het tweede niveau geëvalueerd. Deze externe evaluatie gebeurt door de Bijzonder Evaluator van de ontwikkelingssamenwerking. Het referentiestelsel voor de evaluatie is dat van het Comité voor Ontwikkelingshulp van de OESO.

2° Als overgangsmaatregel blijft de jaarlijkse externe evaluatie, zoals bepaald in het derde beheerscontract, van toepassing. Dit mechanisme wordt afgeschaft van zodra de Bijzonder Evaluator van de ontwikkelingssamenwerking, in het licht van de voornoemde externe evaluatie, aan de Belgische Staat bevestigt dat het systeem van monitoring en evaluatie van BTC effectief functioneert.

Op heden heeft de Dienst Bijzondere Evaluatie het tweede evaluatieniveau van BTC nog niet geëvalueerd waardoor artikel 17 van het derde beheerscontract nog steeds geldt. Artikel 17 van het derde beheerscontract legt evaluatie- en monitoringactiviteiten vast en bepaalt hieromtrent het volgende:

Context

72

BTC verbindt zich ertoe om haar medewerking te verlenen aan elke evaluatie door de Staat tijdens of na de prestaties geleverd in het kader van de taken van openbare dienst zoals beoogd in artikelen 5 en 6 van de wet tot oprichting van BTC. De evaluatie en monitoringactiviteiten omvatten jaarlijks:

• Evaluatie door de Staat van de kwaliteit van de prestaties van BTC op basis van een selectie van minimum 10 projecten gekozen door de Staat

• Monitoring door de Staat van het Indicatief Samenwerkingsprogramma

Deze referentietermen hebben betrekking op de eerste activiteit: de evaluatie door de Staat van minstens 10 projecten naar keuze, uitgevoerd door de BTC.

De evaluatie van de kwaliteit van de prestaties van BTC door de Staat kende een evolutie in de tijd. In 2007 werden de verplichte 10 projecten geëvalueerd, een aantal dat opliep met de tijd tot 24 (waarvan de helft voor een documentstudie) in 2010. In totaal werden een 50-tal interventies geëvalueerd. Deze evaluaties namen echter niet enkel de behaalde resultaten van de interventies, maar ook de meer algemene prestaties van BTC onder de loep. Ook de processen en procedures werden bestudeerd, met in 2010 bv. een studie over de doorlooptijden.

In 2011 werd voor de evaluatie in het kader van artikel 17 van het derde beheerscontract een andere aanpak gehanteerd. Er werden enkel interventies uit het derde beheerscontract beoordeeld, volgens een methodologie gebaseerd op de ROM-methodologie (Results Oriented Monitoring16

B1.

) ontwikkeld door de Europese Commissie. Dit liet toe een veelvoud aan interventies te bestuderen in vergelijking met de jaren ervoor, namelijk 33. De bijkomende, onderliggende ambitie was om dit meer op monitoring gebaseerde systeem te laten overnemen door DGD.

In 2012 en 2013 werd de kwaliteit van de prestaties van BTC geëvalueerd via andere evaluaties van de Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking (DBE), zoals de impactevaluatie van 4 projecten van de gouvernementele samenwerking en de evaluatie van de Belgische samenwerking op het vlak van milieu.

Rapportage over resultaten in de Belgische ontwikkelingssamenwerking beperkt zich vaak tot het meten van outputs: zijn de scholen gebouwd, heeft men de activiteiten uitgevoerd zoals gepland? Indien er geëvalueerd wordt, gebeurt dit vaak binnen de context van een interventie en slechts zelden ex-post. De focus van deze evaluaties ligt meestal op de efficiëntie en effectiviteit van de interventies, maar zelden wordt gekeken naar de mate waarin de behaalde outputs zullen kunnen blijven voortbestaan.

Bestaansreden van de evaluatie

Interventies worden binnen de Belgische ontwikkelingssamenwerking dus vaak ex-ante bekeken, en zelden ex-post. Dat er weinig achteraf gekeken wordt naar duurzaamheid, blijkt bovendien niet enkel in België een lacune te zijn: bij het onderzoek dat vooraf ging aan het opstellen van deze referentietermen, waren quasi geen evaluatieverslagen van andere donoren terug te vinden waar men specifiek evalueerde op duurzaamheid. Dit terwijl we toch aan ontwikkelingssamenwerking doen om een duurzaam resultaat te behalen. Het is dan ook nodig om hierop te evalueren, om te kijken of de resultaten van

16 http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/monitoring-results_en.htm

http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/monitoring-results_en.htm�

Bijlage A : Opdrachtomschrijving


de Belgische (gouvernementele) ontwikkelingssamenwerking duurzaam zijn en te begrijpen waarom wel/niet.

Voorliggende evaluatie zal dan ook de duurzaamheid van de Belgische gouvernementele samenwerking, zoals ze wordt uitgevoerd door BTC, onderzoeken. Dit gebeurt aan de hand van een aantal case studies.

B2.

Gezien de verplichting om jaarlijks minimum 10 projecten uitgevoerd door BTC onder de loep te nemen, zal deze evaluatie zich deels inschrijven in de rij evaluaties van de kwaliteit van de prestaties van BTC (zie hierboven). In vergelijking met de vorige evaluaties van interventies van BTC, werd gekozen voor een meer retrospectieve aanpak: deze evaluatie zal vooral kijken naar afgelopen interventies en zal, meer dan de voorgaande evaluaties van hetzelfde type, in het teken staan van duurzaamheid.

Artikel 17 uit het derde beheerscontract tussen de Belgische Staat en BTC heeft het afleggen van rekenschap als onderliggende gedachte. Dit is echter niet de primaire bedoeling van deze evaluatie. Wat hier primeert, is dat BTC én DGD lessen kunnen trekken uit het verleden, om het beleid bij te sturen naar de toekomst toe.

Tegelijkertijd is het wel zo dat, zelfs als de hoofddoelstelling van deze evaluatie “leren” is, enige accountability-aspecten nooit ver weg zijn: het zijn twee zijden van eenzelfde medaille. De aanpak van het proces is echter dusdanig, dat leren om te verbeteren de bovenhand krijgt. Dit mag tegelijkertijd geen excuus worden om vaststellingen die gedaan worden, zomaar weg te wuiven.

Deze evaluatie dient dus aanwijzingen te geven over de manier waarop de gouvernementele samenwerking presteert, op basis van de evaluatie van 10 interventies van BTC. Wat de evaluatiecriteria betreft, ligt de nadruk zeer expliciet op duurzaamheid. De term duurzaamheid is te begrijpen als “het blijven voort bestaan van de behaalde resultaten van de interventie na afloop”.

Gezien deze nadruk op duurzaamheid zullen voornamelijk projecten bekeken worden die al enige tijd afgelopen zijn. Er wordt voor elk van deze interventies gekeken in welke mate de resultaten behaald werden en of deze verder blijven bestaan. Er zal vastgesteld worden welke de factoren waren die een rol gespeeld hebben in het succes of het mislukken van het voortbestaan van deze resultaten. Hiertoe zullen de sterktes en de zwaktes blootgelegd worden van de manier waarop men tracht langetermijnsresultaten voor ontwikkeling te behalen.

Tegelijkertijd zal, telkens zo veel mogelijk binnen dezelfde sector in hetzelfde land, ook gekeken worden naar nog lopende interventies. Dit om rekening te kunnen houden met huidige praktijken inzake duurzaamheid, en om een eventuele evolutie hierin mee te nemen in de formulering van conclusies en aanbevelingen, op basis waarvan het duurzaamheidsbeleid voor de Belgische gouvernementele samenwerking via BTC verbeterd kan worden.

De geselecteerde interventies zullen dus dienen als case studies, om het systeem van de Belgische gouvernementele samenwerking onder de loep te nemen en te evalueren in welke mate dit duurzame resultaten genereert.

Doelstellingen van de evaluatie

B3.

De definitie die men bij het DAC hanteert voor duurzaamheid is de volgende:

Viabilité (Pérennité, durabilité)

Continuation des bénéfices résultant d’une action de développement après la fin de l’intervention. Probabilité d’obtenir des bénéfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques.

Duurzaamheid

74

Ook BTC hanteert deze definitie. Binnen het instrumentarium van BTC wordt dit concept verder ontwikkeld in het resultatenrapport, het eindrapport en de reviews (mid-term en end of term). Het gaat hier echter veelal over potentiële duurzaamheid, al dan niet op basis van de ROM-methodologie van de Europese Commissie. Sinds recente hervormingen van het systeem van rapportage en resultaten binnen BTC, tracht men meer aandacht te besteden aan duurzaamheid.

Het DAC vult haar definitie aan als volgt:

La viabilité permet de mesurer si les bienfaits d’une activité de développement ont des chances de perdurer une fois que le donneur aura achevé de la financer. Les projets doivent être aussi bien financièrement qu’environnementalement viables. L’évaluation de la pertinence d’un programme ou d’un projet doit prendre en compte les points suivants:

• Dans quelle mesure les bienfaits résultant d’un programme/projet perdurent-ils après le retrait des bailleurs de fond ?

• Quels sont les principaux facteurs qui influent sur la viabilité ou la non-viabilité d’un programme/projet ?17

De evaluatie van de duurzaamheid van de resultaten van interventies (“blijven de resultaten voortbestaan na het aflopen van de interventies?”) zal dus rekening moeten houden met financiële en omgevingsgerelateerde

18

B4.

, maar ook met institutionele en sociaal-economische contextelementen. Daarbij speelt de risico- en behoefteanalyse en capaciteitsversterking die er al dan niet geweest is binnen de interventie, een grote rol. Ook het belang van ownership en de rol van de partner kan hier niet over het hoofd gezien worden.

Zoals hierboven reeds vermeld, dient het systeem van de gouvernementele samenwerking via BTC onderzocht te worden aan de hand van een selectie van case studies. Het is de bedoeling dat doorheen de volledige beleids- en interventiecyclus gekeken wordt op welke manier men duurzaamheid integreert en tot welk resultaat dit leidt. Men zal er moeten kijken naar het hele traject, van de beleidsdialoog en het ISP tot het niveau van de interventie (directe linken), maar ook breder (context waarbinnen de interventie functioneerde).

De beleids- en interventiecyclus telt volgende stappen:

Evaluatievragen

• Beleidscyclus: o Een voorbereidende fase van de beleidsdialoog, waarbij een basisnota

opgesteld wordt door DGD, idealiter mede gebaseerd op een evaluatie vanwege BTC van het lopende samenwerkingsprogramma.

o De eigenlijke beleidsdialoog, waarbij er overleg is tussen DGD en de partner en waarbij het ISP vastgelegd wordt voor de komende periode en de verschillende interventies geïdentificeerd worden.

17 Bron: Glossaire CAD toolbox + OCDE, Le réseau du CAD sur l’évaluation en matière de développement, Evaluer la coopération pour le développement. Récapitulatif des normes et standards de référence, deuxième édition, p.14 (beschikbaar via http://www.oecd.org/dac/evaluation/dcdndep/47832438.pdf) 18 Er is bewust gekozen voor deze interpretatie van het begrip « projet environnementalement viable »: het is niet de bedoeling dat de analyse van contextaspecten zich beperkt tot enkel het milieugerelateerde. Er moet aandacht zijn voor de brede omgeving waarin de interventie functioneert.

http://www.oecd.org/dac/evaluation/dcdndep/47832438.pdf�



- Interventiecyclus: o Formulering van de interventies door BTC. o Uitvoering van de interventies door BTC. o M&E door BTC en opvolging door DGD.

Gedurende die beleids- en interventiecyclus zijn er grosso modo vier actoren naar wiens rol gekeken moet worden: DGD (en de beleidscel), BTC, de partner en de uiteindelijke begunstigden. In welke mate hadden zij een visie op duurzaamheid? Hoe is die vertaald? Welke invloed hebben zij uitgeoefend op de duurzaamheid van de behaalde resultaten? En wat hebben zij gedaan om deze te optimaliseren?

De evaluatie zal zich concentreren op volgende kernvragen:

• Zijn de behaalde resultaten (outputs en outcomes, positief en negatief, verwacht en onverwacht) duurzaam? Daarbij eveneens rekening houdend met de resultaten op vlak van de transversale thema’s gender en leefmilieu.

• Welke zijn de factoren die deze duurzaamheid bevorderd hebben, welke hadden een negatieve invloed? Welke rol hebben de verschillende actoren (DGD, BTC, partner, begunstigden) hierin gespeeld doorheen de verschillende fases van de beleids- en interventiecyclus?

• Op welke manier kan de duurzaamheid van de resultaten geoptimaliseerd worden?

Het is de bedoeling dat er een globaal antwoord komt op deze evaluatievragen, met desgevallend een uitsplitsing voor de aanbevelingen aan het adres van een aantal specifieke actoren.

De evaluatoren wordt gevraagd een methodologie te ontwikkelen die toelaat om op deze vragen een antwoord te bieden. Het evaluatiekader zal uitgewerkt worden in de methodologische nota. In de offerte wordt reeds een beperkter uitgewerkt voorstel gedaan.

B5.

Het dient benadrukt te worden dat de invalshoek die aangenomen wordt voor deze evaluatie breder is dan louter de kwaliteit van de prestaties van BTC: het is namelijk in de eerste plaats DGD, de administratie voor ontwikkelingssamenwerking, die samen met het politieke niveau bepaalt hoe de Belgische gouvernementele samenwerking eruit ziet en die de verschillende interventies identificeert, waarbij er reeds aandacht moet zijn voor duurzaamheid via de vermelding van te nemen maatregelen van institutionele aard en met betrekking tot de lokale menselijke en financiële middelen na het stopzetten van de interventie. Daarna neemt BTC het proces over voor de formulering (waarbinnen ook een risicoanalyse dient te gebeuren met aandacht voor beheersaspecten, doeltreffendheid en duurzaamheid), uitvoering, opvolging en interne evaluatie.

Het is dus niet de bedoeling dat er enkel aandacht is voor de prestaties van BTC alleen, de focus dient te liggen op de resultaten van de gouvernementele coöperatie vanuit DGD-BTC (beleidsniveau incluis) in zijn geheel.

Daarnaast mogen de lokale partners en autoriteiten niet vergeten worden: hun rol is essentieel voor het bereiken van duurzame resultaten. Dit is, naast dat van DGD en BTC, het derde niveau waarnaar gekeken dient te worden. Het is echter niet de bedoeling dat deze evaluatie expliciet het beleid van het partnerland onder de loep neemt. Wel in welke mate er rekening gehouden is met beleidskeuzes en (financiële, maar ook technische) capaciteiten van de partner bij de uitvoering van de interventie, aangezien deze een grote invloed kunnen hebben op de duurzaamheid van de resultaten van de samenwerking.

Scope van de evaluatie

Een vierde niveau is, vanzelfsprekend, dat van de uiteindelijke begunstigde. Daar waar deze evaluatie ongetwijfeld veel te zeggen zal hebben over het beleidsniveau, mag de ultieme “klant” van ontwikkelingssamenwerking hier niet uit het oog verloren worden. Het is namelijk om de duurzame verandering in het leven van de uiteindelijke

76

begunstigde dat het allemaal draait. Eventuele ontwikkelingen, pluspunten of problemen op beleidsniveau zijn belangrijk in de mate waarin ze het duurzaam voortbestaan van ontwikkelingsresultaten ten gunste van de bevolking in de weg staan of bevorderen.

De evaluatie zal 10 afgelopen interventies van BTC op het terrein bezoeken, in 2 sectoren in 2 landen. De landen die uitgekozen zijn voor een terreinbezoek zijn Benin en Bolivia. In elk van de landen zullen zowel interventies uit de landbouw- als uit de gezondheidssector onderzocht worden.

Voor deze 2 landen komt het geheel van de interventies die afgelopen zijn in 2010, 2011, 2012 en 2013 in de uitgekozen sectoren in aanmerking voor een terreinbezoek. Deze interventies zullen voorafgaandelijk aan de terreinmissies het voorwerp uitmaken van een grondige documentstudie, samen met de interventies die momenteel lopende en in voorbereiding zijn (eveneens een tiental). Dit om rekening te kunnen houden met de huidige praktijken inzake de aanpak van duurzaamheid op het moment dat de conclusies en aanbevelingen opgesteld worden.

Zo zullen dus een 20-tal interventies grondig onderzocht op documenten. Minimum 10 van deze interventies, die afgelopen zijn in 2010, 2011, 2012, 2013 worden bezocht op het terrein voor een volledige ex-post evaluatie op het vlak van hun duurzaamheid. In totaal zijn er 11 interventies die voor dit diepgravende terreinbezoek in aanmerking komen, waarvan er minstens 10 effectief bezocht zullen worden (verdere uitleg hieronder). De lijst met alle interventies (dus ook degene die enkel documentair onderzocht zullen worden) is te vinden in bijlage. Er zijn ook nog een viertal reserveprojecten die heel recent zijn afgelopen.

B6. Aanpak en verloop

De selectie van het staal te onderzoeken interventies werd reeds gemaakt door de Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking (DBE), die de

Fase 1: methodologische nota

Aan het begin van de evaluatie dienen de evaluatoren zich in te lezen in de materie en een methodologische aanpak uit te werken die geschikt is om duurzaamheid te evalueren. Hiertoe nemen zij documentatie over (evaluatie van) duurzaamheid door: algemene documentatie, maar ook reeds beschikbare informatie over hoe duurzaamheid geëvalueerd werd in de betrokken sectoren.

Er wordt van de evaluatoren ook verwacht dat zij de relevante documentatie met betrekking tot de Belgische Technische Coöperatie doornemen, zoals de Wet op BTC, de beheerscontracten, eerdere evaluaties van de kwaliteit van de prestaties van BTC en andere relevante strategische en operationele documenten.

Zij zullen eveneens de reeds beschikbare documentatie over het 20-tal te onderzoeken projecten (10 afgelopen interventies en 10 nog lopende) doorwerken en eerste interviews afnemen van dossierbeheerders om meer informatie over de interventies te bekomen.

In deze fase wordt ook reeds een evaluatiekader opgesteld dat gehanteerd kan worden bij elk van de terreinbezoeken aan de projecten. Dit evaluatiekader dient dan verder verfijnd te worden voor de verschillende terreinmissies, in functie van de specificiteit van de verschillende interventies. De focus op duurzaamheid moet ook tot uiting komen in het voorgestelde evaluatiekader.

De documentatie zal bij de start van de werkzaamheden zo veel mogelijk ter beschikking gesteld worden van de evaluatoren, om hun het werk te vergemakkelijken.

Tijdens deze fase worden verdere interviews afgenomen van de belangrijkste stakeholders van BTC (DGD, beleidscel, leden raad van bestuur) en bij BTC zelf, in aanvulling op de gelezen strategische documentatie. Dit teneinde te weten te komen welke de visie en het beleid van BTC inzake duurzaamheid zijn.



te bezoeken landen en sectoren vastlegde (zie toelichting bij de scope van de evaluatie en ook de bijlage).

In het studierapport zal aangegeven worden wat de voor- en nadelen zijn van een terreinevaluatie voor elk van de interventies die hier momenteel voor in aanmerking komen. 10 afgelopen interventies zullen weerhouden worden voor een terreinbezoek. De evaluatoren maken in het documentair verslag een beargumenteerd voorstel, dat besproken wordt tijdens het begeleidingscomité. De uiteindelijke keuze van de case studies gebeurt in overleg met de verschillende stakeholders. De DBE behoudt de eindverantwoordelijkheid.

Deze fase mondt uit in een methodologische nota, met daarin de definitieve evaluatievragen, een methodologische aanpak voor de evaluatie in zijn geheel en een methodologische aanpak voor elk van de terreinmissies (bv. specifieke vragen en aandachtspunten voor elk van de interventies).

In deze nota wordt duidelijk gemaakt hoe de evaluatoren de verschillende interventies zullen evalueren, aangezien het gaat om verschillende soorten duurzaamheidsproblematieken, die variëren volgens land, sector, ...

In de methodologische nota wordt eveneens vermeld welke personen reeds geïnterviewd werden en welke documentatie reeds verwerkt geweest is. Ook de organisatorische aanpak voor de verschillende missies wordt vastgelegd, met uitleg inzake planning, te interviewen personen en interviewgidsen.

In de methodologische nota wordt eveneens de manier waarop men de kwaliteit van de terreinmissies en de optimale uitwisseling van de informatie zal garanderen, uiteen gezet.

De methodologische nota moet volledig uitgewerkt en goedgekeurd zijn door de opdrachtgever voor de terreinmissies van start kunnen gaan.

Fase 2: Studierapport

Het studierapport zal de resultaten bevatten van de documentaire analyse van projecten in de landen waar de terreinbezoeken plaatsvinden. Daarbij zal niet enkel aandacht zijn voor de 10 afgelopen projecten die effectief bezocht zullen worden. De consultants doen eveneens een documentenonderzoek op 10 interventies uit dezelfde sectoren die momenteel lopen of in voorbereiding zijn, teneinde rekening te houden met de huidige praktijken inzake duurzaamheid. Hiermee zal rekening gehouden moeten worden bij het opstellen van conclusies en aanbevelingen voor de evaluatie. Een 20-tal interventies zullen grondig onderzocht worden tijdens deze documentaire fase (zie lijst in bijlage).

Er worden tijdens deze fase aanvullende gesprekken gevoerd met de verschillende verantwoordelijken voor de te bezoeken interventies, om zo veel mogelijk beschikbare informatie verwerkt te hebben voor de aanvang van de terreinmissies. Voor alle te onderzoeken interventies wordt verwacht dat alle beschikbare projectdocumenten (identificatie, formulering, technisch en financieel document, basisnota voor het ISP, ISP zelf, evaluatierapporten, ...) doorgenomen worden.

Het studierapport bevat een volledig uitgewerkte vooranalyse van de duurzaamheid van de interventies. Voor de interventies die bezocht zullen worden, wordt deze dan getoetst aan de realiteit op het terrein.

Het studierapport dient dus volledig te zijn en gebaseerd te zijn op alle informatie die beschikbaar en te verkrijgen was vanuit Brussel. Voor de (minstens) 10 afgelopen interventies op het terrein komt daar de informatie die men maar op het terrein kan verkrijgen bij.

Het studierapport vormt dus als het ware een voorversie van het eindrapport, met reeds eerste antwoordhypotheses op de hierboven gestelde evaluatievragen. Deze kunnen dan bijgesteld of aangevuld worden op basis van de bevindingen tijdens de terreinbezoeken.

78

Voor de interventies die in aanmerking komen voor een terreinbezoek, worden de verschillende relevante stakeholders op het terrein geïdentificeerd. Interviewgidsen worden opgesteld en dienen goedgekeurd te worden voor vertrek. Aangezien het gaat om afgelopen interventies, is het mogelijk dat een aantal belangrijke stakeholders niet meer ter plaatse zullen zijn. Toch moet moeite gedaan worden om ze terug te vinden en te contacteren.

Ook het studierapport moet volledig uitgewerkt en goedgekeurd zijn door de opdrachtgever voor de terreinmissies van start kunnen gaan.

Fase 3: Terreinbezoeken van de 10 projecten

In totaal zullen 10 projecten die afliepen in 2010, 2011, 2012 of 2013 diepgaand geëvalueerd worden op het terrein. De andere, lopende interventies worden ook besproken op het terrein, maar zonder een zelfde diepgaande analyse na te streven als bij de 10 ex-post interventies.

5 weken per land lijkt een minimum voor de duur van de missie. De evaluatie levert zo ook lessen op over het verschil tussen een project op papier en op het terrein, en zou zo ook concrete aanbevelingen moeten kunnen leveren aan dossierbeheerders bij DGD en BTC in Brussel. Op deze manier kunnen zij te weten komen waar men op moet letten bij de formulering van nieuwe interventies.

Na afloop van elk van de terreinmissies worden de voorlopige bevindingen gepresenteerd en besproken op een restitutievergadering ter plaatse. Er wordt eveneens een landenverslag geschreven, waarin elk van de bezochte projecten geanalyseerd wordt. Dat verslag zal voorgesteld en besproken worden tijdens het begeleidingscomité in Brussel. Deze verslagen bevatten een analyse van de bezochte interventies en de antwoorden op het specifieke evaluatiekader voor deze interventies, maar geven eveneens reeds de eerste bijkomende analysebasis voor het eindrapport.

• Samenvatting

Fase 4: Eindrapport

Het eindrapport dient als volgt opgedeeld te worden:

• Inleiding

• Beknopte methodologie

• Vaststellingen en analyses

• Conclusies

• Aanbevelingen

Het eindrapport zal het voorwerp uitmaken van een presentatie en discussie in het begeleidingscomité, waar opmerkingen geformuleerd kunnen worden en aanpassingen van het draft rapport gevraagd kunnen worden.

Daarna wordt het definitieve eindrapport voorgesteld, waarbij het de evaluatoren vrij staat de geformuleerde bemerkingen al dan niet mee in aanmerking te nemen. Zij zullen echter hun keuze om (geen) rekening te houden met de opmerkingen moeten verantwoorden. Deze schriftelijke verantwoording wordt, samen met de commentaren, als annex toegevoegd aan het eindrapport.

De causale link tussen vaststellingen, conclusies en aanbevelingen moet duidelijk zichtbaar zijn. Het verslag moet bevattelijk en vlot leesbaar zijn en conclusies en aanbevelingen zijn best optimaal bruikbaar voor de verschillende stakeholders van deze evaluatie (BTC en DGD). Dit impliceert dat ze realistisch zijn en beperkt in aantal, zodanig dat de structuur van de conclusies en aanbevelingen aangepast is om de reactie van de stakeholders (management response) te vergemakkelijken.



Naast het eindverslag zal ook een laagdrempelige samenvatting van maximum 3 bladzijden opgesteld worden, waarin de belangrijkste conclusies en aanbevelingen uitgelegd en beargumenteerd worden. De samenvatting moet gelezen en begrepen kunnen worden door een breed publiek.

Fase 5: Nota met methodologische lessen uit deze evaluatie

De evaluatoren voeren in de eerste fase, ter voorbereiding van de methodologische nota, een documentstudie naar de evaluatie van duurzaamheid. Zij nemen hiervoor de literatuur door en zullen zich (ten minste ten dele) hierop inspireren voor de methodologie en aanpak van deze evaluatie. De DBE zou het leerproces dat zo loopt gedurende de evaluatie zelf, graag explicieter maken. Vandaar dat de consultants gevraagd wordt een aparte nota op te stellen specifiek over hoe duurzaamheid in de ogen van de evaluatoren best geëvalueerd wordt. Wat zijn de grondvoorwaarden? Hoe wordt het best aangepakt? Welke methodologie leent zich hier het beste voor? Hoe werkt de theorie in de praktijk?

Daar waar het eigenlijke evaluatieverslag zal focussen op hoe duurzaamheid geoptimaliseerd kan worden, zal deze nota omschrijven hoe duurzaamheid het best geëvalueerd wordt. De nota is in de eerste plaats bestemd voor de DBE en maakt geen deel uit van de producten van de evaluatie die besproken worden in het begeleidingscomité.

B7.

Fase 6: Terugkoppeling

Los van de bespreking van het eindrapport in het begeleidingscomité, worden 3 restitutiemomenten voorzien: eentje voor de dossierbeheerders bij DGD en BTC, een voor de directies van DGD en BTC en een in het Parlement.

De methodologische nota en het studierapport dienen in het Nederlands, het Frans of het Engels geschreven te zijn. Beide rapporten mogen niet langer zijn dan 40 bladzijden (annexen niet inbegrepen).

De missieverslagen worden geschreven in de gangbare internationale taal van het bezochte land en mogen niet langer zijn dan 70 bladzijden (annexen niet inbegrepen). Zij worden als een annex toegevoegd aan het eindrapport.

Het voorlopig eindrapport dient in het Nederlands, het Frans of het Engels geschreven te zijn en mag niet langer zijn dan 75 bladzijden (annexen niet inbegrepen).

Het definitieve eindrapport dient in het Nederlands en het Frans beschikbaar te zijn en zal dus vertaald moeten worden.

Een executive summary van maximum 8 bladzijden dient voorzien te worden. Deze tekst moet beschikbaar zijn in het Nederlands, het Frans, het Engels en het Spaans. Daarnaast dient ook een korte beleidsnota opgesteld te worden van 2 bladzijden, eveneens in het Nederlands, het Frans, het Engels en het Spaans.

De lerende nota over evaluatie van duurzaamheid voor de DBE kan naar keuze in het Nederlands, het Frans of het Engels geschreven worden en is maximum 25 bladzijden lang.

De teksten dienen allemaal vlot geschreven te zijn volgens een logische gedachtegang. Het spreekt voor zich dat de linken tussen vaststellingen, conclusies en aanbevelingen duidelijk zijn. Het eindrapport moet in een vlotte, bevattelijke stijl geschreven worden die begrepen wordt door een lezer die geen expert is in het onderwerp.

Verslagen en werktalen

Belangrijk: de vertalingen dienen van hoge kwaliteit te zijn. Er wordt verwacht dat zij vertaald worden door een professionele vertaler en dat zij (minstens voor het Nederlands

80

en het Frans) nagelezen worden door een andere moedertaalspreker met kennis van het onderwerp.

Bij de start van de opdracht zullen de evaluatoren instructies krijgen van de DBE voor wat de lay-out en vormgeving van alle evaluatieproducten betreft. Deze instructies dienen nauwgezet gevolgd te worden.

Na het indienen van de methodologische nota, het studierapport, de missieverslagen en het voorlopig eindrapport moeten de evaluatoren verslag uitbrengen aan het begeleidingscomité dat de evaluatie opvolgt. De verslaggeving dient te gebeuren in het Frans of het Nederlands (presentatie in de ene taal, PowerPoint in de andere). Kennis van beide talen moet aanwezig zijn tijdens de vergaderingen met het begeleidingscomité en tijdens de restitutiemomenten.

PowerPointpresentaties voor vergaderingen, maar ook voor restitutiemomenten, zullen ten minste 48u voor de start van de bijeenkomst voorgelegd worden aan de DBE voor akkoord en eventuele bijsturing.

B8.

Het evaluatieteam moet aan volgende voorwaarden voldoen:

Profiel van de evaluatoren

• Ervaring inzake evaluatie en kennis van evaluatiemethoden, meer specifiek inzake evaluatie van ontwikkelingssamenwerking

• Kennis en ervaring inzake ex-post evaluatie en het evalueren van duurzaamheid van ontwikkelingsinterventies

• Kennis van en ervaring in de verschillende te bezoeken landen

• Kennis van en ervaring in de evaluatie van de verschillende sectoren

• Talenkennis: Nederlands, Frans, Spaans + lokale taal tijdens de terreinmissies

Een genderevenwicht in het team wordt aangemoedigd. Er wordt gevraagd om een lokale expert (inhoudelijk) te betrekken bij de terreinmissies en bij de voorbereiding en rapportering ervan. Deze lokale expert is een volwaardig lid van het evaluatieteam voor de terreinzendingen.

De DBE is van mening dat het gebruik van een evaluatie mee afhangt van het verloop van het evaluatieproces en de graad van participatie van de verschillende stakeholders. Hierin speelt het team van evaluatoren dat de evaluatie uitvoert een belangrijke rol. Er wordt dan ook verwacht dat de evaluatoren zich opstellen op een manier die de welwillendheid ten aanzien van deze evaluatie bevordert. Dit houdt onder andere in dat men open staat voor de opmerkingen van de DBE en van het begeleidingscomité, dat men op elk moment (dus niet alleen tijdens de vergaderingen, maar ook tijdens interviews) op zijn minst de bereidheid toont om te communiceren in beide landstalen en dat men ervoor zorgt dat presentaties en verslagen aantrekkelijk vormgegeven worden. Er wordt daarenboven van de consultants gevraagd dat zij proactief en tijdig te werk gaan en de bijkomende belasting die het evaluatieproces kan veroorzaken voor alle betrokken partijen, zo veel mogelijk beperken.

B9.

Het begeleidingscomité bestaat uit de verschillende stakeholders van de evaluatie (BTC, DGD, beleidscel, ...) en wordt voorgezeten door de DBE, die ook instaat voor de algemene supervisie van de evaluatieopdracht en verantwoordelijk is voor de goedkeuring van de producten van de evaluatie.

Het begeleidingscomité zal vier keer vergaderen: een keer naar aanleiding van de methodologische nota, een keer over het studierapport, een keer om de missieverslagen te bespreken en een keer over het voorlopig eindverslag.

Begeleidingscomité



De rol van het begeleidingscomité bestaat erin om kritische vragen te stellen bij het verloop van de evaluatie, bij de verschillende verslagen die aan haar voorgelegd worden en kan eveneens pistes aanreiken die de evaluatoren verder helpen bij hun evaluatie. Het begeleidingscomité bespreekt de methodologische nota, de missieverslagen en het voorlopig eindverslag en formuleert hier opmerkingen bij. Er wordt verwacht van de evaluatoren dat zij rekening houden met deze input en indien dat niet gebeurt, dat zij verantwoorden waarom.



Critères d’évaluation

Questions d’évaluation principales

Sous-questions d’évaluation Indicateurs Méthodes de collecte d’information (à spécifier dans le rapport d’étude)

Pertinence

Est-ce que les interventions ont été formulées avec un regard sur la durabilité des résultats ?

Est-ce que les acteurs de la coopération belge (la DGD et la cellule stratégique, la CTB à différents niveaux) et au pays partenaire (Ministère sectoriel, autorités décentralisées ou déconcentrées, bénéficiaires) partagent la même vue sur la durabilité des interventions dans chaque secteur?

- Perceptions des différents acteurs sur les éléments clé de la durabilité ex-ante et ex-post;

Est-ce que les interventions ont été formulées en tenant compte de la pérennisation des résultats ?

- Analyse adéquate du contexte (institutionnel, politique, financier, socio-économique, environnemental, technologique, culturel);

- Analyse adéquate des risques et mesures de mitigation proposées ;

- Prévision d’une stratégie de sortie à terme;

- Prise en compte des leçons des interventions antérieures;

- Elaboration de la cohérence et complémentarité entre les différentes interventions (financières et non-financières) de la coopération belge et avec les

84




interventions d’autres intervenants;

Quel est le degré d’appropriation des interventions de la coopération belge à différents niveaux d’intervention ?

- Evolution de la contribution financière béninoise/bolivienne au niveau national (gouvernement national), niveau déconcentré et décentralisé (départements, provinces, zones, communes) et niveau des bénéficiaires;

- Participation des acteurs béninois/boliviens à différents niveaux dans la prise de décision sur les interventions de la coopération belge

Dans quelle mesure les considérations de durabilité sont-elles prises en compte dans la préparation, formulation et élaboration du PIC ?

- Mention de durabilité dans les différentes versions du PIC;

- Qualité de l’analyse dans les PIC des facteurs et risques qui influencent la durabilité;

Efficacité et efficience

Quels sont les bénéfices (outputs et outcomes) des interventions et comment ces bénéfices ont-ils été réalisés?

Quels sont les outputs ? - Outputs liés au renforcement des capacités des acteurs dans les deux secteurs (capacité organisationnelle, capacité institutionnelle y compris échange et interaction active, renforcement des capacités professionnelles, capacité de gestion, etc.);

- Outputs liés à l’amélioration de la qualité et de l’accessibilité des services de soins de santé primaires;

- Outputs liés à l’amélioration de la productivité et de la rentabilité des filières agricoles porteuses ainsi que l’écoulement des produits (Bénin);

- Outputs liés à la gestion intégrée des ressources hydriques et la gestion intégrale des bassins versants au niveau de la population (Bolivie);

Quels sont les outcomes ? - Outcomes liés à l’amélioration de l’état de santé de la population à travers le renforcement de la pyramide sanitaire ou






réseaux de santé;

- Outcomes liés à la diversification des filières agricoles et l’assurance de façon durable de la sécurité alimentaire et nutritionnelle;

- Outcomes liés à l’augmentation et la diversification de la production agricole familiale notamment dans les bassins versants et la gestion durable des ressources naturelles;

Quels sont les bénéfices (outputs et outcomes) concernant les thèmes transversaux ?

- Différenciation des outputs et outcomes par âge et par genre et par sous-groupe (p.ex. population indigène);

- Outputs et outcomes spécifiques pour les enfants;

- Outputs et outcomes environnementaux (utilisation de l’énergie durable pour les postes sanitaires, traitement durable des déchets, effets environnementaux dans l’agriculture, utilisation des intrants durables, utilisation des techniques durables, gestion durable des ressources naturelles);

Est-ce que les ressources disponibles et le calendrier étaient adéquates pour réaliser les résultats (et de les pérenniser

- Mise en œuvre de l’intervention conformément au calendrier;

- Utilisation du budget et changements éventuels;

- Extension du projet/programme;

Quelle est la qualité du suivi-évaluation ?

- Système de suivi-évaluation fonctionnel basé sur indicateurs-clés lié à la logique d’intervention du projet;

- Perception des différents acteurs sur la conformité et le fonctionnement du système de suivi pour pérenniser les résultats;

Quel est l’ancrage institutionnel du suivi-évaluation et des mesures

- Continuation du système de suivi-évaluation après la fin du projet;

- Mesure dans laquelle le système de suivi-

86




prises en fonction du suivi-évaluation ?

évaluation est complémentaire aux autres systèmes de suivi-évaluation ou intégré dans le système national / local;

- Prise en compte des leçons des évaluations et des interventions antérieures;

Durabilité Est-ce que les bénéfices/résultats sont durables ?

Est-ce que les bénéfices sont durables du point de vue institutionnel?

- Continuation du fonctionnement des organisations bénéficiaires de l’appui après la fin du financement en termes de (qualité et quantité) services fournies à la population /bénéficiaires; transparence dans la prise de décision, nombre de personnel qualifié (différentié par genre), continuation de l’interaction entre les différents acteurs;

- Continuation du fonctionnement des groupements communautaires;

- Interaction active et positive entre les acteurs gouvernementaux à différents niveaux, la société civile et les acteurs du secteur privé;

- Réplication des interventions de la coopération belge ayant des résultats positifs par d’autres acteurs (y compris effets multiplicateurs) ;

- Systèmes résilients;

Est-ce que les bénéfices sont durables du point de vue politique?

- Les politiques sectorielles sont opérationnalisées en tenant compte des expériences sur le terrain;

- Les bénéfices font partie des réformes institutionnelles initiées par les gouvernements partenaires;

- La politique de décentralisation est liée aux politiques sectorielles et des leçons sont tirées afin d’améliorer l’interaction;

- Progrès réalisé dans la démarche vers une approche sectorielle et/ou programmatique;

- Politiques/stratégies opérationnelles de genre,






d’environnement et droits humains et notamment des enfants et adaptées par secteur;

Est-ce que les bénéfices sont durables du point de vue économique et financier au niveau des groupes-cible?

- Rentabilité économique et financière des activités économiques pour différents groupes bénéficiaires (différenciés par âge et par genre et par sous-groupe p.ex. indigènes) en tenant compte des risques;

- Tarifs des soins de santé (y compris médicaments, transport etc. ) par rapport aux recettes des ménages (différenciés par différents groupes-cible);

Est-ce que les bénéfices sont durables du point de vue économique et financier au niveau des institutions ?

- Augmentation graduelle de contribution financière du pays partenaire aux coûts d’investissement et récurrents des organisations (y compris une contribution de la population);

- Systèmes de fonctionnement et maintenance fonctionnels et payables;

- Possibilités de réinvestissements;

Est-ce que les bénéfices sont durables du point de vue socio-culturel?

- Conformité des activités effectuées avec l’intérêt et les priorités de différents groupes de population (différencié par âge et par genre);

- Appréciation par la population bénéficiaire (différencié par âge et par genre et par sous-groupe) des activités effectués et de l’approche suivie;

- Appréciation par la population bénéficiaire de la clôture de projet;

- Changements de pouvoir entre hommes et femmes, entre différentes générations et entre différents groupes socio-économiques sont pérennes (y compris ‘empowerment’);

88




- Groupes défavorisés ne sont pas exclus des bénéfices ;

Est-ce que les bénéfices sont durables du point de vue environnemental?

- Amélioration durable de la qualité du sol et de l’eau;

- Utilisation des énergies renouvelables;

- Amélioration durable des conditions environnementales (protection de la biodiversité, utilisation des intrants et techniques durables, diversification des écosystèmes….);

- Elimination appropriée des déchets médicaux;

Est-ce que les bénéfices sont durables du point de vue technologique?

- Adoption des nouvelles techniques qui continuent après la clôture du projet;

- Disponibilité sur le marché des nouvelles techniques, équipements, intrants, etc.;

Facteurs explicatifs

Quels sont les facteurs externes (liés au contexte) et internes (liés à la coopération belge) qui ont contribué positivement ou négativement à la durabilité ?

Quels sont les principaux facteurs externes (hors de l’influence de la coopération belge) qui ont contribué positivement ou négativement à la durabilité ?

- Développement économique global du pays;

- Elections et changement de politique;

- Dépendance de l’aide;

- Qualité de gouvernance (y compris corruption);

- Calamités naturelles;

- Conflits entre différents groupes de population;

- Epidémies;

- Autres

Quels sont les principaux facteurs internes (directement liés à la coopération belge) qui ont contribué positivement ou négativement à la durabilité ?

- Mesure dans laquelle l’identification de l’intervention s’est basée sur le PIC;

- Rôle et composition du Comité des Partenaires;

- Rôle et composition de la Commission Mixte;

- Qualité de l’identification;

- Qualité de la formulation;

- Qualité des ressources humaines dans le






projet;

- Qualité de l’interaction entre les acteurs-clés;

- Rôle et composition du SMCL;

- Suivi et discussion proactive par le SMICL de la durabilité;

- Liens entre le niveau opérationnel et le dialogue politique et la coordination des bailleurs de fonds;

- Forme /modalités de coopération;

- Les rapports d’évaluation à mi-terme et finale adressent la durabilité.


Bijlage C: Lijst met geraadpleegde documenten

Zie ook de geraadpleegde literatuur voor de landenrapporten

ACE Europe en HIVA, Evaluatie van de kwaliteit van de prestaties van BTC -2008, februari 2009

ADE, Evaluation of the Belgian Cooperation “Agriculture and Food Strategy” Paper, Final Report, September 2009

ADE, Hoe groen is onze ontwikkelingshulp. Thematische ontwikkeling van de Belgische ontwikkelingssamenwerking inzake milieu. Synthese. September 2013

ADE et CRED, Mesurer l’impact, la quête du Graal ? Evaluation ex post de l’impact de quatre projets de coopération gouvernementale ; Rapport de Synthèse ; Octobre 2013

AidData, Listening to Leaders: Which Development Partners do they prefer and why?, October 2015

ECORYS en South Research, Evaluatie van de directe bilaterale ontwikkelingssamenwerking 1999-2005, december 2006

ECORYS en South Research, Evaluatie van de kwaliteit van de prestaties van BTC -2009, januari 2010

ECORYS, Idea en South Research, Evaluatie van de kwaliteit van de prestaties van BTC -2010, november 2010

ECORYS, Idea en South Research, Evaluatie van de kwaliteit van de prestaties van BTC -2010, november 2010

FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Eerste beheerscontract tussen de Belgische Staat en BTC

FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Tweede beheerscontract tussen de Belgische Staat en BTC

FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Derde beheerscontract tussen de Belgische Staat en BTC

FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Vierde beheerscontract tussen de Belgische Staat en BTC

Hera, Alter, ETC, Evaluation du secteur de la santé de la coopération belge, Evaluation thématique, Volume 1, 2006

IOB, Van infrastructuur naar duurzame impact, Beleidsdoorlichting van de Nederlandse bijdrage aan drinkwater en sanitaire voorzieningen 1990-2011, maart 2012

OCDE CAD, Evaluer la coopération pour le développement, Récapitulatif des normes et standards de référence, deuxième édition

OCDE CAD - Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, 2010

92

Particip en -ADE, Evaluatie van de kwaliteit van de prestaties van BTC -2011, februari 2012

Sida, Anneke Slob and Alf Morten Jerve, Managing Aid Exit and Transformation, Lessons from Botswana, Eritrea, India, Malawi and South Africa, Joint donor evaluation, May 2008.

South Research, CEP, SAX, Lumières et ombres sur la coopération entre la Belgique et la Bolivie, 1992-2004, Leçons pour l’Avenir, Octobre 2005

South Research, IOB, De lastige weg naar gelijkheid. Evaluatie Gender en Ontwikkeling in de Belgische Samenwerking, Syntheseverslag, november 2014


Bijlage D: Leden van het begeleidingscomité

Datum Naam Functie Vergadering 23 maart 2015 - draft methodologische nota

BTC Laurence Janssens Chargée de missions, BTC

DGD

Patrick Hollebosch Programmaverantwoordelijke, Dienst Kwaliteitsbeheer en Resultaten (D4.3)

Guido Schueremans Diensthoofd Azië & Latijns Amerika, Geografische directie (D1.4)

Florence Deschuytener Verantwoordelijke Benin (D1.2) Liesbeth Loddewykx Klimaat, milieu, natuurlijke rijkdommen (D2.4) Catherine Dujardin Verantwoordelijke gezondheid, Social Development Unit

(D2.3)

DBE Ivo Hooghe Dienst Bijzondere Evaluatie (S4) Marc Heirman Dienst Bijzondere Evaluatie (S4) Vergadering 12 mei 2015 - draft studierapporten Bolivia en Benin

BTC Laurence Janssens Chargée de missions, BTC

DGD

Guido Schueremans Diensthoofd Azië & Latijns Amerika, Geografische directie (D1.4)

Liesbeth Loddewykx Klimaat, milieu, natuurlijke rijkdommen (D2.4) Reinout Van Vaerenbergh

Verantwoordelijke landbouw (D2.2)

DBE Marc Heirman Dienst Bijzondere Evaluatie (S4) Vergadering 15 september 2015 - draft landenrapporten Bolivia

BTC

Laurence Janssens Chargée de missions, BTC Stefaan Van Bastelaere Thematische expert gezondheid, BTC Dominique Morel Thematische experte landbouw, BTC Mario Goethals Verantwoordelijke Bolivia, BTC

DGD Roland Provot Attaché ontwikkelingssamenwerking Barbara Delcourt Azië & Latijns Amerika, Geografische directie (D1.4) Elisabeth van der Haert Azië & Latijns Amerika, Geografische directie (D1.4)

DBE Ivo Hooghe Dienst Bijzondere Evaluatie (S4) Jacqueline Lienard Dienst Bijzondere Evaluatie (S4) Marc Heirman Dienst Bijzondere Evaluatie (S4)

Vergadering 15 september 2015 - draft landenrapport Benin

BTC

Hugo Smars Operations Advisor, BTC Lawrence Ghesquiere Thematische experte landbouw, BTC Sven Huyssen Operations manager, BTC Karel Gyselinck Senior gezondheidsexpert, BTC

DGD Roland Provot Attaché ontwikkelingssamenwerking Florence Deschuytener Verantwoordelijke Benin (D1.2) Liesbeth Loddewykx Klimaat, milieu, natuurlijke rijkdommen (D2.4)

DBE Ivo Hooghe Dienst Bijzondere Evaluatie (S4)

Marc Heirman Dienst Bijzondere Evaluatie (S4)

Vergadering 29 oktober 2015 - draft syntheserapport

BTC Laurence Janssens Chargée de missions, BTC Hugo Smars Operations Advisor

DGD Olivier Thery Diensthoofd, Dienst Kwaliteitsbeheer en Resultaten

(D4.3)

94

Datum Naam Functie Catherine Dujardin Verantwoordelijke gezondheid, Social Development Unit

(D2.3)

DBE Ivo Hooghe Dienst Bijzondere Evaluatie (S4) Jacqueline Lienard Dienst Bijzondere Evaluatie (S4) Filip De Maesschalck Dienst Bijzondere Evaluatie (S4)

Bijlage E : Landenrapport Benin (in apart document)

Bijlage F : Landenrapport Bolivia (in apart document)

Bijlage G : Nota met methodologische lessen (in apart document)

Ex-p

ost e

valu

atie

van

de d

uu

rzaam

heid

van

de B

elgisch

e go

uve

rnem

ente

le sa

men

werk

ing - W

at n

a a

flo

op va

n o

nze

ontw

ikke

lingssa

men

werk

ing ?

Ex-post evaluatie van de duurzaamheid van de Belgische gouvernementele samenwerking

Wat na afloop van onze ontwikkelingssamenwerking ?

Wettelijk depot: 0218/2016/017

KONINKRIJK BELGIË

Federale OverheidsdienstBuitenlandse Zaken,Buitenlandse Handel enOntwikkelingssamenwerking


Verantwoordelijke uitgever: Dirk AchtenVoorzitter van het DirectiecomitéGrafische Productie: www.mediaprocess.be

Egmont • Karmelietenstraat 15, B-1000 Brussel • + 32 (0)2 501 38 34 www.diplomatie.belgium.be • www.dg-d.be • [email protected]

KONINKRIJK BELGIË

Federale Overheidsdienst

Buitenlandse Zaken,Buitenlandse Handel enOntwikkelingssamenwerking

Dienst BijzondereEvaluatie van de BelgischeOntwikkelingssamenwerking

wat na afloop van onze ontwikkelingssamenwerking · van het veldwerk en de afwezigheid van goede...

Documents