Isabelle BoutronCentre d’Epidémiologie Clinique
Hôtel Dieu
Université Paris Descartes
INSERM U738
1
TRANSPARENCE ET INTERPRÉTATION DE LA
RECHERCHE
Transposition des résultats de la recherche
2
RecherchePratique clinique
COMMUNICATIONPUBLICATION
• Authors, editors and publishers all have ethical obligations with regard to the publication of the results of research.
• Authors have a duty to make publicly available the results of their research on human subjects and are accountable for the completeness and accuracy of their reports.
3
4
6
2005-2006
Income fom
industry
Industy or
mixte support
trials
Mean n citation
Industry support
Mean n citation
Mixte support
Mean n citation
Non industry support
Change in impact factor without trials with industry and mixte
support (%)
NEJM - 78% 82.2 66.7 47.3 -15
Lancet 41% 58% 53.5 31.3 25.7 -6
JAMA - 55% 35.7 31.6 21.1 -5
AIM - 53% 27.7 17.1 12 -4
BMJ 3% 27% 9.9 11.3 5.7 -1
2010
“Publication practices distorting science”
• Non-publication• Delai avant publication• Publication incomplète
– Méthode– Résultats
• Ces problèmes sont génériques– Non spécifiques à la recherche en médecine– Non spécifiques aux essais randomisés– Non spécifiques à la recherche financée par
l’industrie8
Ross et al PLoS Med2009
Biais de publicationPublication of trials registered in clinicalTrials.gov*
•All “trials” 46%
•Industry 40%
•Government (US + nonUS) 47%
•NonGovt/non-Industry 56%
*10% sample (n=677) of trials registered between Jan 1, 2000 & June 8, 2007. Excludes Phase 1 studies
2008 NEJM Turner
Selective publication of antidepressant trials
• 62% des essais ont au moins 1 critère de jugement principal qui a été changé, omis ou rajouté.
• Les critères positifs sont plus souvent publiés que les critères négatifs (OR=2.4[1.4-4.0])
11JAMA. 2004;291:2457-2465
• Discordance entre les critères de jugement enregistrés et publiés: 31% des essais
• Discordance en faveur des critères positifs (82.6%).12
• 2 versions d’un même essai randomisé de bonne qualité méthodologique
• Seule différente: résultat du critère de jugement principal – positif vs négatif
»
• 238 reviewers de 2 journaux (randomisation)– Recommandation de publication pour les essais positifs
(97% vs 80%, P<0.001)– Meilleur score de qualité pour les essais positifs (8.24 vs
7.53, P=0.005)13
Interpretation des résultats des essais. SPIN
• Les données doivent parler d’elles-mêmes1
• Les scientifiques sont rarement neutres– Délai et niveau de publication– Utilisation du traitement en pratique– Future carrière
• Grande liberté lors de l’écriture de l’article
– Biais de présentation et d’interprétation des résultats 2-4
141 Fletcher, Med Law, 20072 Horton, BMJ, 1995
3 Yank V, BMJ, 20074 Jefferson T, BMJ, 2009
Kaptchuk T, BMJ, 2003
15
• 17 essais négatifs publiés dans le BMJ de 2002-2006 (p value 0.05-0.3)
• 4/17: Recommandation d’utilisation du traitement en pratique dans la section “what this study adds”
16
17
18
Les « spin »
• Définition des “spin”– Présentation et interprétation des résultats par les auteurs de
manière à convaincre le lecteur de l’effet bénéfique du traitement expérimental malgré des résultats non statistiquement significatifs
• Développement d’une classification des « spin »
• Identification des stratégies et de la prévalence des « spin » dans un échantillon représentatif d’essais randomisés dont le critère de jugement principal n’est pas statistiquement significatif
Prevalence of “spin” in the article
18%
29%
43%50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Title Results Discussion Conclusion
19
>40% of the reports had “spin” in at least 2 of the 3 sections of the main text
N = 72
Level of spin in the conclusion
33%26%
13%13%
13%11%
42%50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Abstract Article
no spin
low level of spin
moderate level of spin
high level of spin
20
High level of “spin” : no acknowledgement of the negative primary outcome no uncertainty, no recommendation for further trial
22
23
Spin et communiqués de presse
24
Essai randomisé contrôlé
Communication des résultats Article scientifiques/congrès
Communiqués de presse
Articles de presse
25
Comparison of the number of citation per articles of articles published in the NEJM that were covered by the New York Time compared to thoses that were not selected but not covered because of a strike
Information not in the
press release
No press releases
Information in the press
release
Quantified the main result with absolute risks
9% 20% 53%
Reporting of harm 24% 36% 68%
Mention of limitation
16% 21% 48%
26
27
28
Spin et Communiqués de presse
29
Eurekalert!databasePress releases of RCTs
N=70
Related published articleN = 70
Identification des spin
Lexix NexisRelated News
N=41
10
5
10
15
20
25
30
35
40
24
17
Spin in abstract
16
1
Press release
16
No sp in in ab stract
21
3
Spin in abstract
1
Abstracts
Press releases
Press releases News
No spin in press releases
20
1No sp in in ab stract
3 Spin
No Spin
News
Conclusion
31