evaluación del riesgo de sesgo de los estudios incluidos

Evaluación del riesgo de sesgo de los estudios

incluidos

cochrane training

Pasos de una revisión sistemática Cochrane

1. Formular la pregunta2. Planificar los criterios de elegibilidad3. Planificar la metodología4. Buscar los estudios5. Aplicar los criterios de elegibilidad6. Obtener los datos7. Evaluar el riesgo de sesgo de los estudios8. Analizar y presentar los resultados9. Interpretar los resultados y obtener conclusiones10. Mejorar y actualizar la revisión

cochrane training

Índice

• Riesgo de sesgo en las revisiones sistemáticas • Evaluación de las fuentes de sesgo • Llevándolo a la práctica: tablas de “riesgo de sesgo”• Incorporación de los hallazgos en la revisión

Ver el Capítulo 8 del Cochrane Handbook

cochrane training

¿Qué es el sesgo?

Error sistemático o desviación de la verdad • Las revisiones sistemáticas dependen de los estudios

incluidos • Estudios incorrectos = revisiones con resultados engañosos • ¿Nos podemos creer los resultados?

• Evaluar el riesgo de sesgo de cada estudio • No podemos medir la presencia de sesgo • Los sesgos pueden sobreestimar o subestimar el efecto • Debemos buscar métodos que minimizan el riesgo de sesgo

cochrane training

• Error aleatorio debido a variaciones en el muestreo• Se refleja en el

intervalo de confianza

• Estudios desarrollados correctamente también pueden estar sesgados• No todas las debilidades

metodológicas introducen sesgos

CalidadImprecisión Informe

• Puede que los métodos utilizados sean apropiados, pero que éstos no estén descritos adecuadamente

Sesgo no es lo mismo que

cochrane training

Escalas de calidad y listas de verificación (checklists)

• Hay muchas escalas disponibles• No hay evidencia empírica que avale su uso • Diferentes escalas llegan a diferentes conclusiones • Pueden incluir criterios no relacionados con el sesgo• La ponderación numérica no está justificada• Puntuaciones difíciles de interpretar por los lectores

Las revisiones Cochrane no deben utilizar escalas de calidad

cochrane training

Herramienta de la Colaboración Cochrane para evaluar el “riesgo de sesgo”

• Valora 7 dominios apoyados por evidencia científica• Valoración de los revisores:

Bajo riesgo de sesgo

Alto riesgo de sesgo

? Riesgo de sesgo poco claro

• Apoyo para la valoración• Pruebas/citas del artículo o de otras fuentes • Explicación del autor de la revisión

cochrane training

Dominios a evaluar• Generación de la secuencia aleatoria• Ocultamiento de la asignación • Cegamiento de los participantes y del personal• Cegamiento de los evaluadores del resultado• Datos de resultado incompletos• Notificación selectiva de los resultados • Otras fuentes de sesgo

Es IMPRESCINDIBLE consultar el Manual Cochrane antes de realizar la evaluación del riesgo de sesgo

cochrane training

¿Qué ocurre con los estudios no-aleatorizados?

• El riesgo de sesgo también debe evaluarse cuidadosamente • El revisor puede querer añadir dominios a evaluar• El revisor puede utilizar otro instrumento que sea apropiado • El Grupo de Revisión puede tener una opción recomendada

Ver Sección 13.5 del Manual Cochrane

cochrane training

Índice



cochrane training

Fuentes de sesgo Generación aleatoria de la secuencia

Ocultación de la secuencia

Selección

Realización

Detección

Desgaste

Notificación

Población diana

Asignación

Grupo Intervención Grupo Control

Evaluación del resultado

Publicación de los resultados

e


cochrane training

Generación de la secuencia aleatoria

• Se realiza al inicio del estudio, antes de la asignación de los participantes a los grupos de estudio

• Evita el sesgo de selección• Determina un orden de asignación aleatorio de los

participantes al grupo intervención y control • Evita diferencias sistemáticas entre los grupos • Tiene en cuenta los factores de confusión conocidos y

desconocidos

cochrane training

Generación de la secuencia aleatoriaBajo riesgo – no predecible• Tabla de números aleatorios • Generación de números aleatorios por ordenador• Aleatorización estratificada o en bloque• Minimización • Recursos más rudimentarios - lanzamiento de una

moneda, barajar cartas o sobres, lanzar dados, sorteo de tarjetas

Alto riesgo – predecible• Método cuasi-aleatorio – fecha de nacimiento, día de

visita, identificador o número de registro, alternancia• Método no-aleatorio – elección por parte del clínico o del

paciente, resultados de pruebas, disponibilidad

Ver Sección 8.9 del Cochrane Handbook

cochrane training

Ocultamiento de la secuencia

• Ocurre al inicio del estudio, durante la asignación de los participantes

• Evita el sesgo de selección• Cuando una persona es reclutada para el estudio nadie

puede predecir a qué grupo será asignada • Asegura una implementación estricta de la secuencia de

aleatorización • Previene cambios de orden • Previene seleccionar los participantes a los que reclutar

cochrane training

Ocultamiento de la secuencia

Bajo riesgo – no predecible•Asignación centralizada (teléfono, página web, servicio de farmacia )•Sobres opacos, sellados y numerados de manera secuencial•Envases de fármaco idénticos y numerados de manera secuencial

Alto riesgo- predecible •Secuencia conocida previamente por parte del personal•Sobres o envases sin una protección apropiada•Secuencia no aleatoria, predecible


cochrane training

Fuentes de sesgo

Selección

Realización

Detección

Desgaste

Notificación

Población diana

Asignación



Evaluación del resutlado


Cegamiento de participantes, personal

cochrane training

Cegamiento de los participantes y del personal

• Evita el sesgo de realización• Trato diferente a los grupos del estudio• Diferentes expectativas de los participantes • Puede conducir a cambios en los propios resultados

• Evaluar de forma cuidadosa• Evitar términos como “simple ciego” y “doble ciego”• ¿Es probable que el cegamiento se rompiera? • Considerar el impacto, incluso aunque el cegamiento no

sea factible para una determinada intervención

cochrane training

Cegamiento de los participantes y del personal

Bajo riesgo• El cegamiento es correcto y es poco probable que se

haya roto• Falta de cegamiento o cegamiento incompleto, pero no

es probable que influya en los resultadosAlto riesgo• Falta de cegamiento, cegamiento incompleto o roto, y es

probable que influya en los resultados


cochrane training

Fuentes de sesgo

Selección

Realización

Detección

Desgaste

Notificación

Población diana

Asignación





Cegamiento de los evaluadores de los resultados

cochrane training


• Evita el sesgo de detección • Conocer la intervención recibida puede afectar la medición

de los resultados

• Evaluar de forma cuidadosa• Evitar términos como “simple ciego” y “doble ciego” • ¿Es probable que el cegamiento se rompiera? • Puede ser factible incluso cuando no es posible cegar a los

participantes y al personal • Recordar que tanto los participantes como el personal

pueden ser evaluadores del resultado

cochrane training


Bajo riesgo• El cegamiento es correcto y es poco probable que se

haya roto• Falta de cegamiento, pero no es probable que influya en

la evaluación de los resultados

Alto riesgo• Falta de cegamiento o cegamiento roto, y es probable

que influya en la evaluación de los resultados


cochrane training

Evaluación del cegamiento en cada variable resultado

• Se puede alcanzar conclusiones distintas según la variable resultado• Puede que sólo sea ciega la medida de algunos resultados• Los desenlaces subjetivos pueden ser más vulnerables a este

tipo de sesgo. Ej. muerte vs calidad de vida

• Puede aplicarse tanto al sesgo de realización como al sesgo de detección

• Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para estas categorías

cochrane training

Fuentes de sesgo

Selección

Realización

Detección

Desgaste

Notificación

Población diana

Asignación





Datos de resultado incompletos

cochrane training

Datos de resultado incompletos• Cuando no se dispone de datos completos de los resultados para

todos los participantes• Desgaste (attrition)– pérdidas durante el seguimiento (loss to follow

up), abandono (withdrawals), otros datos faltantes• Exclusiones (exclusions)– algunos datos disponibles no están

descritos en el informe• Puede dar lugar a un sesgo de desgaste (attrition bias)• Consideraciones:

• ¿Cuántos datos de resultado incompletos por cada grupo? (incluir números en la descripción)

• ¿Motivos de los datos de resultado incompletos?• ¿Cómo se analizaron los datos?

cochrane training

¿Cuándo son demasiados los datos faltantes?• No existe una regla simple• Si son suficientes para afectar de forma relevante los

resultados • Proporción total de datos faltantes• Riesgo de evento (resultados dicotómicos)• Posible tamaño del efecto (resultados continuos)

• Cuando las razones pueden estar relacionadas con los resultados del estudio• Ej. recuperación, eventos adversos, rechazos• Las razones pueden tener significados diferentes en cada grupo

• Existe un desequilibrio entre los grupos en cuanto a los datos faltantes o sus razones

cochrane training

Análisis por intención de tratar• Todos los participantes se analizan en el grupo al que fueron

aleatorizados • A pesar de lo que haya ocurrido durante el estudio

• Temas que pueden surgir• Análisis por protocolo• Los participantes no cumplidores se excluyen del análisis

• Análisis “como se trató”• Los participantes no cumplidores cambian de grupo

• Imputación de valores faltantes• Las asunciones pueden ser inapropiadas- consultar con un

estadístico • Es posible re-incluir algunos datos excluidos

cochrane training

Evaluación de los datos incompletos para cada resultado

• Se puede llegar a conclusiones diferentes para cada resultado • Puede haber más datos faltantes en distintos puntos

temporales • Algunos resultados pueden tener más datos faltantes que otros

. Ej. preguntas sensibles, pruebas invasivas

• Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para “datos incompletos”

cochrane training

Datos de resultado incompletosBajo riesgo• Se dispone de los datos completos para todos los resultados• Las razones que han motivado la falta de datos no se relacionan con el

resultado• Cantidad de datos de resultado faltantes equilibrados entre los grupos de

intervención, y con motivos similares;• La proporción de datos faltantes o su posible efecto no es suficiente para tener

un impacto clínicamente relevanteAlto riesgo• Razones relacionadas con los desenlaces, y desequilibrio en el número de

datos faltantes o en las razones que han provocado los datos faltantes• La proporción de datos faltantes es suficiente para tener un efecto

clínicamente relevante• Análisis “como se trató” con diferencias importantes respecto a la

aleatorización• Uso inapropiado de los métodos de imputación


cochrane training

Fuentes de sesgo

Selección

Realización

Detección

Desgaste

Notificación

Población diana

Asignación





Notificación selectivade los resultados

cochrane training

Notificación selectiva de los resultados

• Puede dar lugar a un sesgo de notificación • Es más probable que se describan los resultados

estadísticamente significativos • Tal como estaba planificado en el protocolo del estudio• Con mayor detalle

• Sesgo difícil de determinar • Comparar los métodos con los resultados y buscar:

• Resultados medidos (o probablemente medidos) pero no notificados• Resultados añadidos, cambios estadísticos, sólo subgrupos • Descripciones que no pueden utilizarse en una revisión

(Ej. decir que no hay diferencias estadísticamente significativas sin aportar resultados numéricos)

• Referencia al protocolo de estudio o al registro del ensayo • Centrarse en los resultados de interés para la revisión

cochrane training

Notificación selectiva de los resultadosBajo riesgo• Se dispone del protocolo de estudio y todos los resultados de interés de

la revisión están descritos de la forma prevista en el protocolo• No disponemos del protocolo, pero está claro que se notifican todos los

resultados esperables y especificados previamente

Riesgo poco claro• La mayor parte de los estudios entrarán en está categoría

Alto riesgo• Resultados no descritos como estaba pre-especificado o era esperable

• Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados • Resultados descritos de forma incompleta por lo que no pueden

utilizarse en un metanálisis


cochrane training

Otras fuentes de sesgo• Se requiere una justificación clara de por qué un factor puede

ser causa de sesgo • No incluir:

• Imprecisión (Ej. tamaño de la muestra pequeño)• Heterogeneidad (Ej. dosis inadecuada, población inusual)• Otras medidas de calidad (Ej. aprobación por el comité de ética,

financiación)• Siempre que sea posible, identificar factores importantes en

el protocolo • Se pueden añadir filas en la tabla para evaluar factores

importantes para todos los estudios

cochrane training

Otras fuentes de sesgoBajo riesgo• El estudio parece no estar afectado por otras fuentes de sesgo

Alto riesgo• Factores ligados a diseño de estudio específicos:• Efecto de arrastre (carry-over) en los ensayos cruzados• Sesgo de reclutamiento en los ensayos aleatorizados por

conglomerados (cluster-randomised trials)• Estudios no aleatorios

• Desequilibrio inicial entre los grupos• Asignación por bloques en ensayos no cegados • Actividad diagnóstica diferencial• Otros sesgos


cochrane training

Índice



cochrane training

Cómo hacer la evaluación del riesgo de sesgo

• Como mínimo dos evaluadores • Asegurar que los evaluadores conocen los métodos • Incluir expertos en contenido y metodólogos

• Pilotar en 3-6 estudios para comprobar la consistencia de la evaluación

• Definir de antemano cómo resolver los desacuerdos • Buscar la información faltante en la publicación:• Protocolo de estudio• Contactar con los autores

cochrane training

Tablas de ‘Riesgo de sesgo’ • Una tabla para cada estudio incluido• Decisión para cada dominio

Bajo riesgo Alto riesgo - considerar el sesgo material, en lugar de cualquier

sesgo? Riesgo poco claro = no se dispone de suficiente

información para emitir un juicio claro • Apoyo a la decisión

• Se pueden utilizar citas directas del artículo• Comentarios adicionales• Justificar cualquier asunción (ej., “probablemente se realizó

correctamente”)• Si no se dispone de información, notificarlo de forma explícita

cochrane training

cochrane training

Índice



cochrane training

Priorizar los dominios para la revisión• Todas las revisiones evalúan todos los dominios, pero puede

seleccionar uno o varios como prioritarios para la revisión • Especificarlo en el protocolo

• Justificarlo, considerando: • Evidencia empírica del impacto del sesgo• Dirección probable del impacto del sesgo:

• Los sesgos probablemente exageran el efecto • En caso que el sesgo subestime el efecto y observemos un efecto

relevante, tiene menos importancia• Magnitud probable del impacto del sesgo en relación al efecto

observado

Ver Cochrane Handbook Secciones 8.5-8.14

cochrane training

Realizar una interpretación global• No intentar resumir todos los resultado y todos los estudios a la

vez • Resumir por desenlace• Cada desenlace puede tener su evaluación propia del riesgo

de sesgo (ej. cegamiento, datos de resultado incompleto)• No todos los estudios aportan información a cada desenlace• Empezar resumiendo el riesgo de sesgo dentro de cada

estudio y luego entre los estudios• No agrupar los estudios de riesgo “poco claro” con los estudios

de “bajo riesgo” sin una justificación

cochrane training

Incorporar los hallazgos a la revisión• Hacer siempre una descripción narrativa • Puede que los lectores no la lean • No evalúa el impacto en los resultados

• Se puede restringir el análisis principal a los estudios con bajo riesgo de sesgo• Basado en dominios clave elegidos de forma razonada

(aunque arbitraria)• Hacer siempre un análisis de sensibilidad

• Se puede presentar un análisis estratificado • También podemos explorar el impacto mediante: • Análisis de subgrupos• Meta-regresión – obtener asesoría estadística

cochrane training

Resumen del riesgo de sesgo

cochrane training

Gráfico del riesgo de sesgo

cochrane training

¿Qué se debe incluir en el protocolo?• Consultar las normas del Grupo Cochrane de Revisión• Breve descripción de la herramienta Cochrane que se

utilizará para evaluar el riesgo de sesgo • Listar los dominios• Referenciar el capítulo 8 del Cochrane Handbook

• Más de un autor evaluará el riesgo de sesgo• ¿Como se resolverán las discrepancias?• ¿Hay dominios específicos importantes para la revisión? • ¿Cómo se incorporarán los hallazgos al análisis?

cochrane training

cochrane training

Mensaje final

• Estudios sesgados pueden conducir a unas conclusiones de la revisión engañosas

• Se evaluarán siete dominios de sesgo• Describir detalladamente lo que ocurrió en los

estudios y hacer un juicio sobre el riesgo de sesgo • Considerar los posibles efectos de los sesgos y ser

cautos a la hora de interpretar los resultados

cochrane training

Referencias• Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of

bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Disponible en www.cochrane-handbook.org.

Agradecimientos• Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias

Methods Group and the Australasian Cochrane Centre. Aprobado por the Cochrane Methods Board

• Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde

evaluación del riesgo de sesgo de los estudios incluidos

Documents