Comparaisons indirectes : techniques, intérêt et validité

Michel CucheratFaculté de médecine Laennec - Lyon

mcu@spc.univ-lyon1.fr

2

Problématique des comparaisons indirectes

Problématique– 2 traitements A et B– B est-il plus efficace que A ?

Comparaison directe– essai comparant face à face B et A– B versus A

Comparaison indirecte– on ne dispose que d’essais de A et de B versus placebo– A versus PBO– B versus PBO

3

Comparaisons directes

Rarement faites

NYT 16 Nov 2003 - For the most part, drugs in this country are not tested against other drugs in the same class. Instead they are tested against a placebo, and if shown to be comparatively safe and effective are approved for marketing. That leaves both patients and their doctors uncertain which approved drugs are better than their competitors and whether high-priced drugs warrant their added cost compared with lower-cost alternatives »

Cours des comptes 12 sep 2007 - Par ailleurs, le caractère non obligatoire et donc non systématique des essais cliniques contre comparateurs est problématique. La commission de la transparence ne dispose pas du pourcentage exact de dossiers présentant des essais cliniques contre comparateurs, mais une estimation réalisée à partir d’un échantillon laisse à penser que moins de la moitié des dossiers dispose de ces données. 

4

Limites structurelles

Même dans les domaines où la comparaison au placebo n’est pas possible pour les nouvelles molécules, il y a des manques

Idéal– 1er évaluation T1 vs placebo– 2ème évaluation T2 vs T1– 3e T3 vs T2 (ou T1 si T2 échoue)

Si T2 échoue > T1– Quid de T2 ? – Abandon ou 2e ligne– Mais T2 vs PBO inconnu

5

Développement simultané de T2 et T3– T2 vs T1 et T3 vs T1– Il va manquer T3 vs T2

T3 vs T2 en NI– T3 NI à T2– Quid de T3 par rapport à T1 (ou au PBO) ?

6

In fine

De nombreuses circonstances conduisent à un besoin de comparaisons directes

– Comment réaliser celles-ci de façon satisfaisante méthodologiquement ?

– Les comparaisons indirectes sont elles fiables et si oui à quelles conditions ?

Réalisation des comparaisons indirectes

7

8

Pseudo comparaison indirecte

Comparaison des bras

Essai 1

Essai 2

PBO

A

PBO

B

Pseudo comparaison indirecteCasse la randomisation

10

11

Comparaisons des tailles d’effet

Essais vs placebo– A : RR=0.5 – B : RR = 0.75

comparaison des IC– A : RR = 0.5 [0.3; 0.9]– B : RR = 0.75 [0.70;0.80]

test d’hétérogénéité

12

Indirect comparison of low and high doses of UFH and LMWH suggests that low-dose LMWH have the best benefit/risk ratio in patients with acute ischemic stroke by decreasing the risk of both DVT and pulmonary embolism, without a clear increase in ICH or ECH

13

Formalisation des comparaisons indirectes

Comparaisons indirectes extrapolées– Adjusted indirect comparisons

reconstruction par extrapolation de l’effet de B vs Aà partir des effets obtenus avec A vs PBO et B vs PBO

A Placebo B

Comparaison directe A vs B

A vs PBO B vs PBO

Comparaison indirecte de A vs B

14

Principe de l’extrapolation

Pour gagner en précision– Utilisation de tous les essais méta-analyse (MA)– RRa/pbo et RRb/pbo résultats de la MA

pboA

pboBAB RR

RRRR

/

//

)log(var)log(var)log(var /// pboApboBAB RRRRRR

Calcul à partir de la MA

Essai 1

Essai 2Essai 2

Essai 3

Essai 4Essai 4

TotalTotal

A versus placebo

Essai 5

Essai 6Essai 6

Essai 7

Essai 8

TotalTotal

B versus placebo

Co

mp

ara

iso

n in

dire

cte a

justée

B v

s A

(ou A

vs

B)

16

17

Limites des comparaisons indirectes

Dans les conditions des essais B, le traitement A aurait-il donner les mêmes résultats que ceux obtenus dans les essais A

Différences entres les essais – patients

• autres temps, autres lieux• sélection des patients pour B étant donné qu’un traitement efficace

existe– contextes– temps calendaire

Réponse classique– disqualification des comp. indirectes

18

Mais– les effets traitements sont relativement stables

• enseignements issus des MA (étude de l’hétérogénéité)

19

Les extrapolations sont elles fiables ?

Zhang WY J Clin Pharm Ther 1996;21:261–82

21

Etude empirique

22

Méthode

Résultats des comparaisons directes

Résultats des comparaisons indirectes

extrapolées

Différence

Pour une même question thérapeutique A vs B:

23

Etudes empiriques

24

25

Combinaison des estimations directs et indirectes (MTC)

26

Essai 1

Essai 2

Essai 3

Essai 4

Total

A versus placebo

Essai 5

Essai 6

Essai 7

Essai 8

Total

B versus placeboC

ompa

rais

on in

dire

cte

ajus

tée

(CIA

) Essai 9

Essai 10

Total A vs B

A versus B

CIA A vs B

Mixed treatment

comparisonMTC A vs B

1

2

27

Conclusion de l’étude empirique

La comparaison indirecte ajustée est en général mais pas toujours en accord avec les résultats des comparaisons directes

la validité des comp. indirectes ajustées dépends de la validité interne des essais de comp. indirectes et de la similarité des essais

28

Les comparaisons directes sont-elles un étalon-or ?

Limites des essais de comparaison directe– Très souvent sans double insu

• Difficulté de faire un placebo d’un traitement commercialisé– NSN– Pas de validation interne (de l’efficacité du comparateur actif)– Études de phase IV (sans réelle finalité réglementaire)– Souvent réalisés en non infériorité

Variabilités des résultats entre essais pour la même comparaison– …

29

2 essais de comparaisons directes donépézil vs galatamine

Jones et al., 2004 {Jones 2004 274} Wilcock et al., 2003 {Wilcock 2003 275}

Laboratoires Fabriquant du donépézil(Eisai Inc., Teaneck, NJ, Etats Unis, Pfizer Global Pharmaceuticals, Pfizer Inc., NY, Etats Unis)

Fabriquant de la galantamine(Janssen-Cilag, Johnson & Johnson Pharmaceutical Research, Shire Pharmaceuticals)

Patients Mild to moderate Alzheimer’s disease Alzheimer’s disease

Comparaison donepezil (jusqu’à 10mg/j) or galantamine (jusqu’à 24mg/j)

galantamine (24 mg/j) or donepezil (10 mg/j)

Durée 12 weeks 53 weeks

Effectif 120 182

Critère de jugement principal/secondaires

Physicians and caregivers satisfaction with treatment/ease of use in daily practice / ADAS-cog, MMSE, DAD-ADL

BrADL, MMSE, ADAS-cog/11, NPI, Screen for Caregiver Burden

Aveugle Open Open, rater-blinded

Conclusion de l’essai

Physician and caregiver ease of use/satisfaction scores, and assessments of cognition and ADL, showed significant benefits for donepezil compared with galantamine

Significant advantages were found in the treatment response to galantamine (versus donepezil) on cognition as measured by response rates on the MMSE and ADAS-cog/11

30

suite …

31

32

33

MA en réseau

OBJECTIVE: To summarize the available clinical trial evidence concerning the safety and efficacy of various antihypertensive therapies used as first-line agents and evaluated in terms of major cardiovascular disease end points and all-cause mortality

Psaty BM, Lumley T, Furberg CD, Schellenbaum G, Pahor M, Alderman MH, Weiss NS. Health outcomes associated with various antihypertensive therapies used as first-line agents: a network meta-analysis.JAMA. 2003 May 21;289(19):2534-44. PMID: 12759325

34

35

Types de réseaux

Placebo

A

B

C

D

E

F

G

placebo

T1

T2

T3 T4

T5

37

38

Difficultés

Utilisation d’une méthode Bayesienne– introduction d’une information initiale (apriori)– l’apriori doit être non informatif

• normal (mean=0, variance=100) pour les paramètres• gamma (0·0001, 0·0001) pour les précisions

– le résultat ne soit pas dépendre de l’apriori

Utilisation d’une méthode itérative– test de la convergence– pour obtenir la convergence il faut souvent mettre un apriori pas trop

non-informatif

Effet « boite noire »– Estimation global– La précision de A vs C dépend de toutes les autres comparaisons du

réseaux

39

Notion d’incohérence du réseau

A

C

B

0.4

0.6

D

0.6

0.5

A

C

B

-0.6

-0.4

D

0.5

0.6

A vs B /C = 0.4+0.6=1A vs B /D = 0.6+0.5=1.1

A vs B /C=-0.6-0.4=-1A vs B /D = 0.6+0.5=1.1

40

Evaluation de l’incohérence

Meta-analyseA vs placebo RRA/pbo

Meta-analyseB vs placebo RRB/pbo

Meta-analyseA vs C RRA/C

Meta-analyseB vs C RRB/C

Comparaison indirecte ajustée A vs B

RRA/B

Comparaison indirecte ajustée A vs B

RR’A/B

Hétérogénéité entre les 2 comparaisons indirectes ajustéespermettant de tester l’incohérence

regroupement des 2 estimations RRA/B et

RR’A/B

Résultat final(s’il n’y a pas d’incohérence)

Che

min

A

pla

cebo

B

Che

min

A

C

B

41

Acceptabilité des CI

Validité interne maximale (en particulier pour les comparaisons directes)

Pas d’hétérogénéité clinique importante entre les essais Pas d’hétérogénéité des résultats dans les méta-analyses

– A vs PBO– B vs PBO– A vs B

Pas d’inconsistance (si multichemin)

42

Avantages et limites

Comparaison directe Comparaison indirecte

Délai d’obtention des données

• Tardif Précoce (dès la disponibilité des premiers essais)

Qualité méthodologique des essais

• Fréquent défaut d’insu • Qualité variable mais rien

n’exclut une qualité méthodologique maximale

Utilise des résultats obtenus en double insu

Utilise des résultats produits avec des exigences maximales de qualité

Exhaustivité des comparaisons à tous les traitements concurrents du domaine

• Rare• Limitée dans certains

domaines• Impossibilité d’exploiter les

données dans leur ensemble

Constante avec les techniques reposant sur un réseau de comparaisons

Biais de publication • Peu probable en raison de la taille des effectifs nécessaires

Évitable par l’inclusion de tous les essais réalisés

Apport du registre des essais cliniques, susceptible d’améliorer la pertinence des comparaisons indirectes