isabelle boutron centre d’epidémiologie clinique hôtel dieu université paris descartes
DESCRIPTION
Transparence et interprétation de la recherche. Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes INSERM U738. Transposition des résultats de la recherche. Recherche. Pratique clinique. COMMUNICATION PUBLICATION. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/1.jpg)
Isabelle BoutronCentre d’Epidémiologie Clinique
Hôtel Dieu
Université Paris Descartes
INSERM U738
1
TRANSPARENCE ET INTERPRÉTATION DE LA
RECHERCHE
![Page 2: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/2.jpg)
Transposition des résultats de la recherche
2
RecherchePratique clinique
COMMUNICATIONPUBLICATION
![Page 3: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/3.jpg)
• Authors, editors and publishers all have ethical obligations with regard to the publication of the results of research.
• Authors have a duty to make publicly available the results of their research on human subjects and are accountable for the completeness and accuracy of their reports.
3
![Page 4: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/4.jpg)
4
![Page 5: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/5.jpg)
![Page 6: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/6.jpg)
6
2005-2006
Income fom
industry
Industy or
mixte support
trials
Mean n citation
Industry support
Mean n citation
Mixte support
Mean n citation
Non industry support
Change in impact factor without trials with industry and mixte
support (%)
NEJM - 78% 82.2 66.7 47.3 -15
Lancet 41% 58% 53.5 31.3 25.7 -6
JAMA - 55% 35.7 31.6 21.1 -5
AIM - 53% 27.7 17.1 12 -4
BMJ 3% 27% 9.9 11.3 5.7 -1
2010
![Page 7: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/7.jpg)
![Page 8: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/8.jpg)
“Publication practices distorting science”
• Non-publication• Delai avant publication• Publication incomplète
– Méthode– Résultats
• Ces problèmes sont génériques– Non spécifiques à la recherche en médecine– Non spécifiques aux essais randomisés– Non spécifiques à la recherche financée par
l’industrie8
![Page 9: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/9.jpg)
Ross et al PLoS Med2009
Biais de publicationPublication of trials registered in clinicalTrials.gov*
•All “trials” 46%
•Industry 40%
•Government (US + nonUS) 47%
•NonGovt/non-Industry 56%
*10% sample (n=677) of trials registered between Jan 1, 2000 & June 8, 2007. Excludes Phase 1 studies
![Page 10: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/10.jpg)
2008 NEJM Turner
Selective publication of antidepressant trials
![Page 11: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/11.jpg)
• 62% des essais ont au moins 1 critère de jugement principal qui a été changé, omis ou rajouté.
• Les critères positifs sont plus souvent publiés que les critères négatifs (OR=2.4[1.4-4.0])
11JAMA. 2004;291:2457-2465
![Page 12: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/12.jpg)
• Discordance entre les critères de jugement enregistrés et publiés: 31% des essais
• Discordance en faveur des critères positifs (82.6%).12
![Page 13: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/13.jpg)
• 2 versions d’un même essai randomisé de bonne qualité méthodologique
• Seule différente: résultat du critère de jugement principal – positif vs négatif
»
• 238 reviewers de 2 journaux (randomisation)– Recommandation de publication pour les essais positifs
(97% vs 80%, P<0.001)– Meilleur score de qualité pour les essais positifs (8.24 vs
7.53, P=0.005)13
![Page 14: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/14.jpg)
Interpretation des résultats des essais. SPIN
• Les données doivent parler d’elles-mêmes1
• Les scientifiques sont rarement neutres– Délai et niveau de publication– Utilisation du traitement en pratique– Future carrière
• Grande liberté lors de l’écriture de l’article
– Biais de présentation et d’interprétation des résultats 2-4
141 Fletcher, Med Law, 20072 Horton, BMJ, 1995
3 Yank V, BMJ, 20074 Jefferson T, BMJ, 2009
Kaptchuk T, BMJ, 2003
![Page 15: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/15.jpg)
15
• 17 essais négatifs publiés dans le BMJ de 2002-2006 (p value 0.05-0.3)
• 4/17: Recommandation d’utilisation du traitement en pratique dans la section “what this study adds”
![Page 16: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/16.jpg)
16
![Page 17: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/17.jpg)
17
![Page 18: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/18.jpg)
18
Les « spin »
• Définition des “spin”– Présentation et interprétation des résultats par les auteurs de
manière à convaincre le lecteur de l’effet bénéfique du traitement expérimental malgré des résultats non statistiquement significatifs
• Développement d’une classification des « spin »
• Identification des stratégies et de la prévalence des « spin » dans un échantillon représentatif d’essais randomisés dont le critère de jugement principal n’est pas statistiquement significatif
![Page 19: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/19.jpg)
Prevalence of “spin” in the article
18%
29%
43%50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Title Results Discussion Conclusion
19
>40% of the reports had “spin” in at least 2 of the 3 sections of the main text
N = 72
![Page 20: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/20.jpg)
Level of spin in the conclusion
33%26%
13%13%
13%11%
42%50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Abstract Article
no spin
low level of spin
moderate level of spin
high level of spin
20
High level of “spin” : no acknowledgement of the negative primary outcome no uncertainty, no recommendation for further trial
![Page 21: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/21.jpg)
![Page 22: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/22.jpg)
22
![Page 23: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/23.jpg)
23
![Page 24: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/24.jpg)
Spin et communiqués de presse
24
Essai randomisé contrôlé
Communication des résultats Article scientifiques/congrès
Communiqués de presse
Articles de presse
![Page 25: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/25.jpg)
25
Comparison of the number of citation per articles of articles published in the NEJM that were covered by the New York Time compared to thoses that were not selected but not covered because of a strike
![Page 26: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/26.jpg)
Information not in the
press release
No press releases
Information in the press
release
Quantified the main result with absolute risks
9% 20% 53%
Reporting of harm 24% 36% 68%
Mention of limitation
16% 21% 48%
26
![Page 27: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/27.jpg)
27
![Page 28: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/28.jpg)
28
![Page 29: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/29.jpg)
Spin et Communiqués de presse
29
Eurekalert!databasePress releases of RCTs
N=70
Related published articleN = 70
Identification des spin
Lexix NexisRelated News
N=41
![Page 30: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/30.jpg)
10
5
10
15
20
25
30
35
40
24
17
Spin in abstract
16
1
Press release
16
No sp in in ab stract
21
3
Spin in abstract
1
Abstracts
Press releases
Press releases News
No spin in press releases
20
1No sp in in ab stract
3 Spin
No Spin
News
![Page 31: Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes](https://reader035.vdocuments.mx/reader035/viewer/2022062304/56813859550346895da001ed/html5/thumbnails/31.jpg)
Conclusion
31