Efecto de los estudios pequeños y sesgos de

informe

Pasos de una revisión sistemática Cochrane

1. Formular la pregunta2. Planificar los criterios de elegibilidad3. Planificar la metodología4. Buscar los estudios5. Aplicar los criterios de elegibilidad6. Obtener los datos7. Evaluar el riesgo de sesgo de los estudios8. Analizar y presentar los resultados9. Interpretar los resultados y obtener conclusiones10. Mejorar y actualizar la revisión

cochrane training

Índice

• Identificar los efectos de los estudios pequeños

• Entender los sesgos de informe

Ver el capítulo 10 del Cochrane Handbook

cochrane training

Repaso: el error aleatorio

• En un grupo de estudios que estima un efecto, cada estudio presenta un error aleatorio

• Los resultados estarán dispersos alrededor del efecto real –en menor o en mayor grado

Erroraleatorio

Efecto real

Estimación del efecto

Fuente: Julian Higgins

cochrane training

Error aleatorio y los estudios pequeños

• El error aleatorio asume que:• Los estudios pequeños serán menos precisos que los

estudios de mayor tamaño• Los estudios pequeños estarán dispersos de forma más

amplia alrededor de la media• Efectos de los estudios pequeños

• Cuando los estudios pequeños son consistentemente más positivos o negativos que los estudios de mayor tamaño

• Un posible tipo de heterogeneidad• Puede haber muchas explicaciones

cochrane training

Identificando el efecto de los estudios pequeños

• Evaluar cada desenlace por separado• Métodos disponibles:

• gráfico de embudo (“funnel plot”)• pruebas estadísticas• análisis de sensibilidad

• Proceder con cautela y obtener apoyo estadístico experto

cochrane training

Gráficos de embudo• Representan el tamaño del efecto contra el tamaño del estudio

• El tamaño del estudio usualmente se representa mediante una medida de la varianza como el error estándar

• Los estudios estarán dispersos alrededor de un efecto estimado• Los estudios más grandes estarán arriba, los pequeños abajo• Los estudios pequeños tienen una dispersión más amplia

• Un gráfico simétrico lucirá como un embudo invertido o un triángulo

• El software RevMan puede generar gráficos de embudo• Sólo es apropiado con ≥ 10 estudios de distintos tamaños

cochrane training

Gráfico de embudo simétricoErr

or

est

án

dar

EfectoFuente: Matthias Egger & Jonathan Sterne

0.1 0.33 1 33

2

1

0

100.6

cochrane training

Gráfico de embudo asimétrico

0.1 0.33 1 33

2

1

0

100.6

Estudios no publicados

Err

or

est

án

dar

EfectoFuente: Matthias Egger & Jonathan Sterne

cochrane training

0.1 0.33 1 33

2

1

0

100.6

Estudios pequeños con efecto positivo

Gráfico de embudo asimétricoErr

or

est

án

dar

EfectoFuente: Matthias Egger & Jonathan Sterne

cochrane trainingAdaptado de Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in critically ill patients. Cochrane Database of Systematic Reviews 2011, Issue 3.

Coloides vs cristaloides para resucitación con líquidos

Muerte

cochrane training

Magnesio para infarto al miocardio

Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

cochrane training

Causas de asimetría en un gráfico de embudo

• Azar• Artefactos

• Algunos estadísticos se correlacionan con el error estándar, e.g. OR

• Variabilidad clínica• Diferentes poblaciones en estudios pequeños • Diferente implementación en estudios pequeños

• Variabilidad metodológica• Mayor riesgo de sesgo en los estudios pequeños

• Sesgos de informe

Fuente: Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629

cochrane training

Gráficos de embudo de contorno mejorado

Fuente: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002

cochrane training

Asimetría debida a heterogeneidad

Fuente: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002

cochrane training

Pruebas para evaluar asimetría en el gráfico de embudo

• ¿Existe una asociación mayor a lo esperado por el azar entre el tamaño del estudio y el efecto de la intervención?

• Se recomiendan tres pruebas :• Generalmente poco poder para descartar sesgo de informe

• Usar además la inspección visual del gráfico de embudo• Sólo apropiado si se tienen ≥ 10 estudios de tamaño

variado

Ver Sección 10.4.3 del Cochrane Handbook

cochrane training

Análisis de sensibilidad• Si se detecta efecto de los estudios pequeños ¿cómo

impacta en los resultados?• Consultar a un estadístico antes de proceder

• Si existe heterogeneidad (I2 > 0), comparar las estimaciones obtenidas a partir de un modelo de efectos fijos y uno de efectos aleatorios

• ¿Hay diferencias?• De ser así, ¿existe alguna razón para que la intervención sea más

efectiva en los estudios pequeños?• Modelos de selección y otros métodos

cochrane trainingAdaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

Análisis de sensibilidad

cochrane training

Índice

• Identificar los efectos de los estudios pequeños

• Entender los sesgos de informe

Ver el capítulo 10 del Cochrane Handbook

Fuente: Matthias Egger

La diseminación de la evidencia

cochrane training

Sesgos de informe• La diseminación de los hallazgos de investigación está

influenciada por la naturaleza y dirección de los resultados• Es más probable publicar resultados ‘positivos’

estadísticamente significativos …• …por lo tanto es más probable que sean incluidos en una

revisión• Esto resulta en efectos exagerados• Es más probable que estudios grandes se publiquen de

todas formas, así que los estudios pequeños serán los afectados

• Los resultados no significativos son tan importantes para la revisión como los resultados significativos

cochrane training

Evidencia del sesgo de informe

Fuente: Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects BMJ 1997;315:640-645.

Proporción de estudios no publicados

Años desde su inicio

SignificativosTendencia no significativaNulos

cochrane training

Concebidos

Realizados

Enviados

Citados

Publicados

Es más probable que los estudios positivos sean• Enviados a publicar…

• …y aceptados (sesgo de publicación “publication bias”)

• …rápidamente (sesgo de lapso de tiempo “time lag bias”)

• …como más de una publicación (sesgo de publicación múltiple “multiple publication bias)

• …en inglés (sesgo de lenguaje “language bias”)

• …en revistas con alto factor de impacto e indexadas (sesgo de ubicación “location bias”)

• …incluyen desenlaces positivos (informe selectivo de desenlaces)

• …y son citados por otros (sesgo de citación “citation bias”)

Fuente: Julian Higgins

cochrane training

Ejemplo: alfa bloqueantes

• Se identifican 10 ensayos clínicos midiendo diferentes dosis

• Los ensayos deben haberse terminado y sus resultados deben haberse enviado a las agencias reguladoras para que la droga sea aprobada• Se encontraron pocos ensayos • Muchas de las dosis aprobadas por los reguladores no

tenían suficiente evidencia que apoyara su uso• Para algunas dosis no había datos publicados

Fuente: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4

cochrane training

Ejemplo: antidepresvios

Fuente: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of antidepressant trials in the FDA trial registry database and related journal publications. BMJ 2009, 339.

cochrane training

Impacto del sesgo de publicación

Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized trials of health care interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.

cochrane training

¿Qué implica esto para mi revisión?• Prevención

• Una búsqueda exhaustiva en múltiples fuentes• Literatura gris, literatura no escrita en inglés, búsqueda manual• Registros de ensayos clínicos

• Diagnóstico• Considerar identificar efectos de los estudios pequeños• Análisis de sensibilidad para identificar el posible impacto• Sesgo de publicación no es siempre la única

explicación

• No existe cura• Explorar cualquier efecto observado de estudios pequeños• También se espera que comentes sobre la probabilidad de

sesgos de informe

cochrane training

¿Qué incluir en tu protocolo?• Evaluación de sesgos de informe• Uso opcional de gráficos de embudo y pruebas estadísticas

para detectar asimetría

cochrane training

Puntos clave

• Busca el efecto de estudios pequeños en tu revisión• Sé consciente de las posibles causas• Considera el posible impacto del sesgo de informe en tu

revisión• Siempre que exista la duda, consulta a un experto en

estadística

cochrane training

Referencias• Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting

biases. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

• Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629

• Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002

Agradecimientos• Compilado por Miranda Cumpston. Basado en los materiales de: Jonathan Sterne,

Matthias Egger, Julian Higgins, David Moher, Nancy Santesso, Holger Schünemann, the Cochrane Bias Methods Group, the Australasian Cochrane Centre and the Cochrane Applicability and Recommendations Methods Group. Aprobado por el Cochrane Methods Board

• Traducido por Carlos Cuello , Marta Roquè y Jesús López-Alcalde