introduction to impact evaluation training hsrc, pretoria, south africa april 10, 2008 méthodes non...
TRANSCRIPT
![Page 1: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/1.jpg)
Introduction to Impact Evaluation trainingHSRC, Pretoria, South AfricaApril 10, 2008
Méthodes non Expérimentales
Florence KondylisFlorence KondylisInitiative pour l’évaluation de l’impact en Initiative pour l’évaluation de l’impact en
Afrique (AIM)Afrique (AIM)
Introduction aux méthodologies d’évaluation de l’impact – Dakar, Sénégal
Décembre 2008
![Page 2: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/2.jpg)
2
Objectif
• Trouver un scénario hypothétique (contre factuel) plausible
• Toute méthode non expérimentale est associée à une hypothèse
• Plus valide l’hypothèse, plus fiable l’évaluation
QUESTIONNER L’HYPOTHÈSE
Examen objectif
![Page 3: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/3.jpg)
3
Programme à évaluer
Programme de lutte contre le HIV/SIDA de Hopetown (2008-2012)
Objectif : Réduire la transmission du VIH
Intervention : Education par les pairs
Groupe cible : Jeunes de 15 à 24 ans
Indicateur : Taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)
![Page 4: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/4.jpg)
4
I. Stratégie d’identification avant-après
Contre factuel :
Le changement du taux de grossesse observé avant-après le programme peut être entièrement attribué au programme
EFFET = Après moins Avant
![Page 5: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/5.jpg)
5
Année Nombre de domaines
Taux de grosse des adolescentes (pour 1 000)
2008 70 62,90
2012 70 66,37
Différence +3,47
![Page 6: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/6.jpg)
6
62.966.37
50
55
60
65
70
2008 2012
Gro
sses
se d
es a
do
lesc
ente
s (p
ou
r 1
000)
Effet = +3,47
Intervention
Pas d’autre changement au fil du temps?
Question : quel(s) autre(s) événement(s) survenu(s) entre 2008 et 2012 aurai(en)t pu influer sur la grossesse des adolescentes ?
![Page 7: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/7.jpg)
7
Vérifier la validité de l’hypothèse à l’aide des données antérieures
Nombre de domaines
Taux de grossesse des adolescentes (pour 1 000)
2004 2008 2012
70 54,96 62,90 66,37
ÉCARTER l’hypothèse du contre factuel selon laquelle il n’y a pas de changement
au fil du temps ??
![Page 8: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/8.jpg)
8
II. Stratégie d’identification des non-participantes
Contre factuel :
Les participantes n’ayant bénéficié d’aucune intervention (contre factuel) affichent le même taux de grossesse que les non-participantes avant le début du programme.
EFFET = Participantes moins
Non-Participantes
![Page 9: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/9.jpg)
9
La Différence « après »
Taux de grossesse des adolescentes (pour 1 000)
en 2012
Participantes 66,37
Non-participantes 57,50
Différence +8,87
![Page 10: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/10.jpg)
10
La Différence « après »
66.4
57.5
40
60
80
100
2008 2012
Gro
sses
se d
es a
do
lesc
ente
s(p
ou
r 10
00)
Effet = +8,87
Participantes
Non-participantes
Question : quelle pourrait être la différence, ex ante, entre participantes et non-participantes ?
![Page 11: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/11.jpg)
11
Vérifier la validité de l’hypothèseà l’aide des données antérieures
?62.9
66.4
46.37
57.5
40
50
60
70
80
2008 2012
Gro
sses
se d
es
ado
lesc
ente
s(p
ou
r 10
00)
ÉCARTER l’hypothèse du contre factuel selon laquelle les taux de grossesse sont identiques ??
![Page 12: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/12.jpg)
12
III. Stratégie d’identification de la double différence
Contre factuel :
Taux de grossesse des non-participantes après le programme, en tenant compte des différences initiales entre participantes et non-participantes
![Page 13: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/13.jpg)
13
Questionner l’hypothèse de l’analyse contre factuelle
Examen Objectif de la validité de l’hypothèse :
L’évolution du taux de grossesse des participantes au cours du temps pourrait-elle différer de celles des non-participantes ?
En l’absence de l’intervention, le taux de grossesse des participantes et celui des non-participantes suivent les mêmes tendances
![Page 14: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/14.jpg)
14
Taux moyen de grossesse des
adolescentes en
2008 2012 Différence (2008-2012)
Participantes (P) 62,90 66,37 3,47
Non-participantes (NP) 46,37 57,50 11,13
Différence (P=NP) 16,53 8,87 -7,66
Différences participantes/non-participantes, avant/après
![Page 15: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/15.jpg)
15
62.966.4
46.37
57.5
40
50
60
70
80
2008 2012
Gro
ss
es
se
de
s a
do
les
ce
nte
s
(po
ur
1 0
00
)
57,50 – 46,7 = 11,13
66,37 – 62,90 = 3,47
Non-participantes
Participantes
Effet = 3,47 – 11,13 = - 7,66
![Page 16: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/16.jpg)
16
62.966.4
46.37
57.5
40
50
60
70
80
2008 2012Gro
ss
es
se
de
s a
do
les
ce
nte
s
(po
ur
1 0
00
)
74,0-7,6
Projection de la différence en l’absence du traitement
![Page 17: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/17.jpg)
17
Mettre en doute l’hypothèse du contre factuel selon laquelle les tendances sont identiques ??
Taux moyen de grossesse des adolescentes
2004 2008 Différence (2004-2008)
Participantes (P) 54,96 62,90 7,94
Non-participantes (NP) 39,96 46,37 6,41
Différence (P=NP) 15,00 16,53 +1,53 ?
Vérifier la validité de l’hypothèse à l’aide des données antérieures
![Page 18: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/18.jpg)
18
IV. Appariement (« matching ») et la divergence dans la différence (double différence)
Intuition Méthodologique :
Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire »
→ Minimiser les différences au niveau des caractéristiques observéescaractéristiques observées entre participantes et non-participantes
Note: Caractéristiques non-observées ne sont• Pas mesurées par les données
• Pas mesurables (capacités intellectuelles…)
![Page 19: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/19.jpg)
19
Hypothèse du contre factuel
Examen Objectif de la validité de l’hypothèse : Dans quelle mesure les participantes pourraient-elles être différentes des non-participantes auxquelles elles sont appariées ?
Les caractéristiques non observées n’influencent pas les résultats qui nous intéressent (effet du programme)
![Page 20: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/20.jpg)
20
56
58
60
62
64
66
68
70
72
74
76
2008 2012Tau
x d
e g
ross
esse
des
ad
ole
scen
tes
(po
ur
1000
)
73,36
66,37
Non-participante appariée
Participante
Effet = - 7,01
![Page 21: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/21.jpg)
21
Vérifier la validité de l’hypothèse à l’aide des données antérieures
Considérer avec soin le rôle des caractéristiques non-observables
Certaines études ont pu comparer les méthodes expérimentales et non-expérimentales trouvent que
>> Les caractéristiques non observées sont importantes>> Le sens de la distorsion est imprévisible
![Page 22: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/22.jpg)
22
V. Stratégie d’identification de la discontinuité de la régression
Applicabilité :
Lorsque l’admissibilité repose sur des critères quantitatifs stricts que les candidats ne peuvent pas influencer pour leur bénéfice
Scénario hypothétique :
Les non-participantes se trouvant immédiatement en dessous du seuil d’admissibilité servent de référence pour les participantes se situant juste au-dessus dudit seuil
![Page 23: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/23.jpg)
23
Hypothèse du contre factuel
Examen Objectif de la validité de l’hypothèse :
Données antérieures: La distribution du nombre d’observations et de l’indicateur autour du seuil d’admissibilité est-elle harmonieuse ?
Si oui, l’hypothèse est raisonnable
! Evalue uniquement l’incidence autour du seuil et non pour l’ensemble de la distribution !
Les non-participantes se trouvant tout juste au-dessous du seuil d’admissibilité ne sont pas vraiment différentes des participantes se situant immédiatement au-dessus dudit seuil (non-observables
![Page 24: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/24.jpg)
24
• Cibler le transfert vers les écoles les plus pauvres• Établir un indice de la pauvreté sur une échelle
allant de 1 à 100• Les écoles ayant une note <=50 sont retenues• Les écoles ayant une note >50 sont exclues• Transfert des ressources vers les écoles pauvres• Mesurer les résultats (c’est-à-dire les notes
obtenues aux tests) avant et après le transfert
Exemple : Effet des ressources scolaires sur les résultats des tests
![Page 25: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/25.jpg)
25
6065
7075
80O
utco
me
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Baseline
![Page 26: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/26.jpg)
26
6065
7075
80O
utco
me
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Baseline
Non-Poor
Poor
![Page 27: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/27.jpg)
27
6570
7580
Out
com
e
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Post Intervention
![Page 28: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/28.jpg)
28
6570
7580
Out
com
e
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Post Intervention
Effet du traitementEffet du traitement
![Page 29: Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation](https://reader035.vdocuments.mx/reader035/viewer/2022062621/551d9d80497959293b8b9c03/html5/thumbnails/29.jpg)
29
• La sélection aléatoire offre l’exemple idéal– pas d’hypothèses– pas toujours faisable
• La méthode non expérimentale requiert des hypothèses– Sont-elles raisonnables ? Peut-on les tester ?– Souvent on manque de données…
• Nous n’avons pas couvert :– Les variables instrumentales– La mise en œuvre graduelle (« pipeline »)
Conclusion