3. comment randomiser 1 - povertyactionlab.org · – etude de cas, exemple • projet...

povertyactionlab.org

Comment randomiser ?

Pascaline Dupas

Aperçu des cours d’aujourd’hui• Thème général: en pratique, comment on fait pour

randomiser?• Ce matin

– Différents moyens de randomiser– Convaincre/Comment obtenir le soutien des partenaires pour

une évaluation randomisée• Cet après-midi

– Unités de randomisation et d’observation– Etude de cas, exemple

• Projet d’enseignant supplémentaire (ETP)– Stratification– Comment randomiser en pratique ? – Planification d’une évaluation


Les différents moyens de randomiser


Randomisation simple• Pensez à un essai clinique• Une companie pharmaceutique recruite 1 000

personnes et administre le médicament à la moitié d'entre elles– Les autres recoivent un placebo

• Est-ce que les essais cliniques sont nécessaires?– Oui, car important de nous assurer que le médicament ne fait

pas (trop) de mal, avant le mettre sur le marché...– Important de nous assurer que le médicament fait effet, avant

de faire payer les gens• Pouvons-nous appliquer cette méthode aux

programmes sociaux ?– Pas si simplement…


Quelles sont les contraintes liées à la randomisation dans les

situations sociales ?

Principales contraintes• Ne doit pas être perçu comme inéquitable• Doit être éthique

– Si le programme ne présente aucun risque pour les bénéficiaires, est-ce nécessaire d’avoir un groupe placébo?

– Si on est sur qu’un programme marche, est-ce éthique d’avoir un groupe placébo?

• Doit être politiquement faisable– Est-ce que les autorités acceptent l’idée de

l’assignation aléatoire?

Dans quels cas est-il acceptable de randomiser?

• Ressources limitées: vous n’avez pas assez de ressources pour « traiter » tous les gens qui ont besoin du programme– Exemple:

• Il y a 500 écoles primaires qui ont fait une demande pour un instituteur supplémentaire

• Vous ne pouvez payer que 250 salaires d’instituteur

• Comment choisir les 250 bénéficiaires parmi les 500 écoles?

Modèle de la loterie

• Faire une liste des toutes les personnes/ écoles/ villages éligibles pour le programme

• Choisir les bénéficiaires au hasard parmi la liste• A utiliser lorsqu'il n'existe pas de bonne raison de choisir

un sous-ensemble de « super » éligibles• La loterie est alors jugée équitable• Souvent plus équitable que d’autres méthodes...

– Favoritisme politique– Facilité d’implementation– Etc.

• Doit-on informer les participants? – La transparence est souvent utile, mais pas toujours


Faisabilité politique

• Comment s’assurer que les gens du groupe acceptent de coopérer?– (on a besoin de leur coopération pour

collecter les données de suivi!)• Pouvons-nous apporter quelque chose

aux sites de contrôle ?– Tester A par rapport à B, et non A par rapport

à rien? Traitement multiples


Loterie plus facile à faire “avaler”: Traitements multiples

• Vous n’êtes pas toujours certain de l'intervention à mettre en place

• Vous pouvez alors randomiser différentes interventions – Tout le monde est bénéficiaire, mais tout le monde ne bénéficie

pas de la même chose…• Ceci nous renseigne-t-il sur l’effet d'une intervention

donnée ? – Non, mais l’on apprend quelle intervention marche le mieux (ou

le moins mal...)• Avantage : un effet gagnant-gagnant, peut aider à

répondre aux questions que se posent les acteurs

Autre modèle de loterie plus facile à faire “avaler”:Randomisation dans la « bulle »

• Randomiser les cas-limites• La “bulle”: les gens qui sont juste au

dessus du seuil d’éligilibité– Par ex., Les écoles avec entre 35 et 40

élèves par instituteur• Donner le programme à toutes les ecoles

avec plus de 40 élèves par instituteur• Randomiser le programme parmi les

écoles dans la bulle


Que faire si le programme dispose de 500 candidats pour

environ 500 postes ?Ou moins ?

Un modèle de loterie moins évident

• Une astuce : promouvoir le programme et augmenter fortement le nombre de candidats– Informer toutes les écoles du fait qu’elles

peuvent faire une demande pour un instituteur supplémentaire

– La loterie devient applicable si le nombre d’ écoles qui ont fait un demande dépasse 500

• Est-ce éthique ?


Dans quels cas la loterie est-elle impossible ?


Lorsque la loterie est infaisable

• Supposons une situation avec 2 000 candidats.

• La sélection des demandes/besoins donne 500 candidats « valables »

• Il existe 500 postes• La loterie est infaisable


Que faire dans ce cas ?

Solution possible• De nombreuses parties d'une règle de sélection ont pour seul

but d'écarter des candidats• Aider votre partenaire à réfléchir la règle de sélection existante

– Quel est l’objet de la sélection ? – Quels sont les éléments essentiels ?– Quels sont les éléments arbitraires ?– Peut-on changer la règle pour permettre la randomisation?

• Exemple : allocation d’un instituteur supplémentaire– 2 000 écoles candidatent– 1 000 répondent au critère de taille (plus de 40 élèves par

instituteur)– Un critère supplémentaire imposé par le gouvernement: que l’école

ait une salle de classe disponible pour le nouvel instituteur• Seulement 500 répondent a ce critère

– Ce second critère fait-il sens? Peut-on convaincre le gouvernment de l’éliminer?


Autres types de modèle aléatoire

Trouver le moment opportun

• Les programmes ont des durées de vie• Ils ont des étapes initiales• Ils se développent• Certaines étapes sont plus propices à la

randomisation que d’autres

Modèle de mise en place progressive

• Dans ce modèle, tout le monde bénéficiera du programme dans le long-terme, mais dans l’immédiat seulement un sous-groupe participe

• Exemple: progamme de dé-parasitage au Kenya, fait par ONG.– 3 groupes de 25 écoles chacun: groupes 1,2,3

• 1998: écoles du groupe 1 recoivent le traitement• 1999, 2000: écoles des groupes 1 et 2 recoivent le traitement• 2001: toutes les écoles recoivent le traitement

– Comment mesurer l’impact de 1 an de deparasitage? • Comparer groupe 1 au groupes 2 et 3 fin 1998

– Comment mesurer l’impact de 2 ans de deparasitage? • Comparer groupe 1 au groupe 3 fin 1999

Modèle de mise en place progressive

• Est-ce éthique? • Oui, si contraintes logistiques lors de l’extension du

projet: – Par exemple :

• En 5 ans, 500 écoles seront concernées, mais l’ONG n’a la capacité de mettre en place le programme que dans 100 écoles par an

• Comment déterminer les écoles ou les quartiers qui seront traités telle ou telle année ?

– Certains choix peuvent être basés sur les besoins, sur un impact potentiel, etc.

– Certains choix sont nettement arbitraires– Nous pouvons donc choisir très tôt, de manière aléatoire, qui

bénéficiera du programme au début et qui bénéficiera à la fin• Procédez ainsi sur une population pour laquelle les choix sont

arbitraires

Autre modèle:Modèle de rotation

• Les groupes reçoivent le traitement tour à tour

• Un groupe reçoit le traitement durant la première période

• L’autre groupe reçoit le traitement durant la second période

• Quels sont les avantages?• Quels sont les inconvénients?

Le cas du “pilote”

• Souvent quand on commence un programme on n’est pas trop sur de comment le faire

• Il y a souvent une phase pilote• C’est souvent un bon moment pour

randomiser– Choisissez de façon aléatoire la population

pour le pilote


Autres modèles

Modèle d'encouragement• Dans ce modèle, tout le monde peut bénéficier

immédiatement du programme. • Mais tout le monde n’est pas au courant du

programme– Certaines écoles ne savent pas qu’elles peuvent faire

une demande pour un instituteur supplémentaire• Choisissez certaines personnes/écoles au hasard

et encouragez-les à candidater• Utilisez les autres comme contrôle / témoin• Est-ce éthique ?

Encouragement• Qu'est-ce qu'un « encouragement » ?

– Un élément qui rend certaines personnes (groupe de traitement) plus susceptibles de participer que d'autres (groupe de contrôle)

• Principaux critères :– Ne doit pas être, en soi, un « traitement »

• Mauvaise idée : programme de formation intense à l'entrepreunariat, comme encouragement au crédit

• Bonne idée : marketing ciblé vers certains, mais pas tous ; s'assurer que le marketing n'est pas trop informatif

• Réfléchissez à ceux qui répondent à l'encouragement. Sont-ils différents ?– Mauvaise idée : fête avec de l'alcool

Modèle d'encouragement : Pourquoi cela fonctionne-t-il ?

Encouragé« Traitement »

Non encouragé« Contrôle »

Traité 100 % 0 %

Non traité 0 % 100 %

Tout d'abord, un exemple extrême : acceptation parfaite de ceux qui sont traités, non-acceptation de ceux qui ne sont pas traités :




Traité 50 % 0 %


Exemple plus réaliste:




Traité 50 % 25 %


Encore plus réaliste...


En résumé:Modèles de randomisation

• Modèle de la loterie (transparent ou non)• Traitements multiples• Modèle de randomisation dans la bulle • Modèle de mise en place progressive • Modèle de rotation• Modèle d'encouragement

Note : ces modèles ne sont pas incompatibles.

Groupe TraitementGroupe Temoin

Eligibilité

Traitement

Encouragement




Loterie

Encouragement

Introduction Progressive

Rotation

Enquete initiale

Enquete de suivi

Enquete initiale

Enquete de suivi

Enquete initiale

Enquete de suivi

Enquete initiale

Enquete de suivi

Comment convaincre les partenaires de randomiser?

Avant de pouvoir vous lancer, qui devez-vous convaincre?

• Vos supérieurs• Le ministre• Les autorités locales• Vos collègues et partenaires (ceux qui

vont mettre en place le programme)• (Le comité d’éthique)• Les gens du groupe témoin

Convaincre les praticiens

• Trois éléments essentiels :– Connaître l'identité des principaux acteurs et

leurs points de vue.– Ecouter. Trouver des manières de répondre

aux questions opérationnelles tout en effectuant la recherche.

– Importance de la culture• Il est parfois difficile d'être en désaccord en

personne. Y a-t-il une véritable acceptation ?

Quels sont leurs arguments?

• « Mais je connais déjà la réponse... »– (Entre les lignes) : Je ne veux pas risquer

d'apprendre que nous n'avons aucun impact.•••••



• Préoccupations spécifiques ordinaires :– Le risque de « diffusion»– L’ équité– Le coût– Les politiques de ressources humaines – La durée de l'étude – L'éthique de l’expérimentation



• Le risque de « diffusion »– Dans certains cas, la diffusion est une bonne chose:

vous traitez 50% des gens et tout le monde bénéficie!– Dans ces cas-là, important de mesurer l’importance

de ces effets indirects (de diffusion); ca fait partie de l’impact!

– Important de convevoir l'étude de telle sore que vous mesuriez les effets directs ET indirects

– Plus sur ce sujet dans le cours de Jeudi

Convaincre les praticiens• L'équité

– Les situations de ressources illimitées sont rares.– En cas de ressources limitées, présenter les choses de cette

façon:• Randomisation = Offrir à tous une probabilité à 50 % de recevoir le

traitement• Sans randomisation = Fournir à ceux qui se présentent en premier

100 % de chances de recevoir le traitement et aux autres 0 % de chances.

• Qu’est ce qui est le plus équitable?– La randomisation permet d'en savoir plus sur les participants

idéaux. Si l'on utilise une méthode de ciblage non aléatoire, il serait possible de faire une erreur dans le cibalge, donc de ne pas optimiser l'impact.


• Le coût– « La collecte des données coûte cher … »– Réponses?

• Ce serait le même coût pour une évaluation non-randomisée!

• Pensez aux bénéfices:– Si l’ évaluation montre que le programme ne marche pas,

alors on économise beaucoup de sous en évitant de prolonger un programme qui ne marche pas!

– Si l’ évaluation montre que le programme marche très bien, alors c’est plus facile de convaincre les bailleurs de fonds de le financer



• Les politiques de ressources humaines– Les politiques de RH interviennent souvent si le

salaire est conditionnel aux performances. • Si le traitement influence les performances, des

problèmes apparaissent. • Le traitement pourrait aussi présenter une alternative

qui menace l’emploi !– Réponses?



• La duree de l’étude– « Il faut attendre un an ou plus pour savoir si ca

marche... »• La vie des gouvernements est souvent plus courte

que ca ...• Les ONG ont besoin de montrer des resultats plus

rapidement que ca pour ramasser des fonds– Réponses?



• Éthique de l’expérimentation : – « les personnes ne doivent pas être traitées comme des

rats de laboratoire. Si vous pensez que cela fonctionne, vous avez tort de ne pas traiter tout le monde. »

– Réponses :• Pourquoi les prescriptions de médicaments sont-elles

différentes ?• Toutes les initiatives limitées sont en quelque sorte une

« expérimentation ». La différence ici, c'est que nous contrôlons l'expérience pour apprendre.

• Ressources limitées. L'allocation des ressources doit avoir lieu d'une manière ou d'une autre. Pourquoi ne pas apprendre pendant que nous agissons ? Créer le bien public pour les prochaines générations.

Une bonne évaluation

• Répond non seulement à la question « Est-ce que le programme marche ? »

• Mais aussi aux questions « Pourquoi ca marche (ou pas) et comment pourrait-il marcher mieux ? »

• Pour que votre évaluation soit acceptable et utile, il est important:– D’identifier les questions que se posent les

acteurs/partenaires– De vous assurer que l’ évaluation y réponde

3. comment randomiser 1 - povertyactionlab.org · – etude de cas, exemple • projet...

Documents