67GUÍA PARA EL ANÁLISIS CRÍTICO DE PUBLICACIONES CIENTÍFICAS / JORGE A. CARVAJAL C.REV CHIL OBSTET GINECOL 2004; 69(1): 67-72

GUÍA PARA EL ANÁLISIS CRÍTICO DE PUBLICACIONESCIENTÍFICAS

Dr. Jorge A. Carvajal C. Ph.D.Unidad de Medicina Materno-Fetal, Departamento de Obstetricia y Ginecología, Facultad de Medicina, PontificiaUniversidad Católica de Chile

Documento

INTRODUCCIÓN

Antes de creer la información que un papercontiene, y modificar la práctica clínica en base asus resultados, debemos verificar si la investiga-ción es metodológicamente correcta. El objetivode esta guía es recomendar algunos pasos a se-guir para evaluar críticamente los resultados deuna investigación, decidir sobre la validez de losresultados publicados, y aceptar su aplicación a lapráctica clínica (1).

El análisis de una publicación científica se basaen tres etapas:

1. Definir la relevancia del tema estudiado enel trabajo:

a. Relevancia Clínica: sobre qué trata el estudio.b. Escenario Clínico: respecto de que situación

clínica específica versa el estudio.c. Pregunta: cuál es la pregunta que se intenta

responder.2. Descripción del estudio:a. Diseño.b. Pacientes.c. Intervención.d. Resultados.e. Conclusiones.3. Análisis Crítico:a. Validez Interna: calidad metodológica del tra-

bajo.b. Validez Externa: aplicabilidad.c. Comentario: nuestras personales conclusio-

nes basadas en los datos crudos mostrados porel estudio y en la evaluación metodológica efec-tuada.

En esta guía, la que en gran proporción es unaadaptación de una artículo publicado (1), másapuntes personales del Curso de InvestigaciónClínica Controlada, dictado por el Centro Rosarinode Estudios Perinatales, presenta una detalladametodología, en 8 pasos, para efectuar el análisiscrítico de los artículos publicados. Si bien segui-mos estos 8 pasos para el análisis de los artícu-los, sólo parte del seguimiento de ellos estaránpresentes en la redacción del análisis que presen-taremos en cada número de la Revista Chilena deObstetricia y Ginecología en la sección Revista deRevistas.

PASO 1. Título del trabajo, autores eintroducción

La evaluación detallada del título del artículopermite conocer la gran mayoría de las veces eldiseño del estudio y sus conclusiones. No es fácildar un título a un artículo, y es por lo tanto unapreocupación de los autores el elegir un título queefectivamente represente su pensamiento y enalguna medida el diseño del artículo. Especialatención debemos poner porque como veremosadelante, muchas veces las conclusiones de losautores no son sustentadas por los datos o eldiseño, y esto con frecuencia se reflejará en untítulo inapropiado.

La observación cuidadosa del o los autoresnos informará de si el estudio es la consecuencialógica de un estudio previo que el grupo ya veníadesarrollando, y por cierto de la credibilidad de losdatos cuando se trate de investigadores de presti-

68 REV CHIL OBSTET GINECOL 2004; 69(1)

gio. Recordemos que es imprescindible que lapregunta que el artículo intenta responder tengasentido biológico, y ello muchas veces resulta deltrabajo previo de los autores

En la introducción, los autores hacen una revi-sión de la información respecto del tema a inves-tigar, e informan de los objetivos del trabajo. Lalectura de la introducción es especialmente útilpara el lector, en el sentido de informase de aque-llo que ya se sabe respecto del tema. Hay queponer atención para descubrir si se ha omitidoinformación importante, ya que muchas veces losautores ocultan información para hacer que susdatos parezcan más novedosos o evitar antece-dentes que estén en contra de sus resultados.

PASO 2. Evaluación de la originalidad del estudio

Solo una pequeña porción de la investigaciónmédica es completamente novedosa, y del mis-mo modo, sólo una pequeña porción repite exac-tamente un trabajo previo. La gran mayoría de lainvestigación nos dirá, en el mejor de los casos,que una hipótesis determinada es probablementeun poco más correcta o un poco más incorrectaque lo que era entes de agregar esta nueva infor-mación. Por ello, es perfectamente válido llevar acabo un estudio que no es completamente origi-nal. De hecho la ciencia del meta análisis sebasa en la aparición de más literatura destinadaa responder la misma pregunta de un modo si-milar.

De este modo, la pregunta práctica a realizarno es ¿alguien ha hecho antes un estudio simi-lar?, lo correcto es preguntarse ¿agrega esta in-vestigación un conocimiento nuevo al problema enestudio? Por ejemplo:

– ¿Se trata de un estudio más grande, máslargo, o definitivamente más sustancial que losestudios previos?

– ¿Se trata de un estudio cuya metodología esmejor y más rigurosa que estudios previos?. Par-ticularmente, ¿contiene alguna crítica específica ala metodología de estudios anteriores?

– El aporte de datos de este trabajo ¿agregasignificancia al metanálisis de los estudios pre-vios?

– ¿La población estudiada es diferente? ¿Ob-servó el estudio diferentes edades, sexo, o grupoétnico comparado a los trabajos previos?

– ¿Es el problema clínico de importancia sufi-ciente? ¿Hay suficientes dudas en el ambientepúblico o decisiones claves que tomar que justifi-quen la necesidad de nueva evidencia?

PASO 3. Evaluación de la población estudiada

Antes de determinar si el resultado se aplica asu población y a su práctica clínica, debe determi-narse cuales fueron los pacientes incorporados opotencialmente incorporados al estudio. En base alos criterios de inclusión y exclusión hacer conclu-siones respecto de la validez externa de los datos,ello permitirá concluir si los resultados serán útilespara nuestro trabajo. Así por ejemplo, si los crite-rios de inclusión son muy restrictivos, ya sabemosque el resultado benéfico de una droga será útilsólo para un porcentaje muy pequeño de los pa-cientes. Para efectuar el análisis debe responderlas siguientes interrogantes.

– ¿Cómo fueron reclutados los pacientes? Estoes importante por que el modo de selección de lospacientes determina si hubo o no un sesgo deselección. Si hubo un sesgo de selección, en-tonces los resultados del estudio pueden ser mo-tivados por las especiales características de lapoblación reclutada. Ejemplo: si los pacientes soninvitados al estudio mediante un aviso puesto enla cafetería del hospital, limitará la población sóloa personas de mejores ingresos y con determina-dos hábitos alimenticios.

– ¿Quién fue incluido en el estudio? Esta pre-gunta se relaciona con los criterios de selección,si estos son muy estrictos, la población no serárepresentativa de todos los pacientes, y los resul-tados sólo serán aplicables a ese grupo. Si eva-luamos la farmacología de una droga en varonessanos universitarios, los resultados no serán apli-cables a personas de otro sexo o edad.

– ¿Quién fue excluido del estudio? Los crite-rios de exclusión son útiles para hacer el estudiomás homogéneo, pero limitan la aplicabilidadde los resultados. Si se excluyen las formas levesde la enfermedad, el estudio efectuado con for-mas graves no será aplicable a casos leves-mo-derados. Así por ejemplo un estudio que incluyósólo pacientes hospitalizados no tendrá conclu-siones válidas para el manejo de pacientes am-bulatorios.

– ¿Fueron los sujetos estudiados en circuns-tancias reales? Esta observación no invalida losresultados, pero señala que su efectividad en elmanejo real debe ser evaluada. Por ejemplo: si seevalúa un medicamento, y se tiene a una personaque hace educación para que los pacientes tomensus fármacos, los llama a la casa, les cuenta laspastillas, etc., es probable que la adherencia altratamiento sea mucho mejor que la que se logra-rá en la práctica habitual.

69GUÍA PARA EL ANÁLISIS CRÍTICO DE PUBLICACIONES CIENTÍFICAS / JORGE A. CARVAJAL C.

PASO 4. Evaluación del diseño del estudio

Aunque el análisis del diseño del estudio pue-da asustar, mucho de lo que conocemos como“apreciación crítica” es solamente sentido común.Debemos en primer lugar identificar el diseño delestudio. Esta identificación permite saber cual esel tipo de conclusiones a que el estudio puedeconducir. Por ejemplo si el estudio es un diseñode caso control, las conclusiones pueden llevar aasociación estadística de riesgo, pero no a conclu-siones de causalidad. Si el diseño es de un estu-dio prospectivo doble ciego randomizado, se su-giere seguir las instrucciones contenidas en elConsort Statement (2) para verificar que el diseñocontenga todos los elementos necesarios para queel estudio se lleve a cabo. El análisis debe conti-nuar luego con dos preguntas fundamentales:

– ¿Qué intervención o maniobra está siendocomparada?, y ¿contra cual intervención se estácomparando? Existe la tentación a creer lo publi-cado como lo que efectivamente sucedió. Sinembargo, muchas veces los autores (de modoconsciente o inconsciente) efectúan un arreglo“cosmético” de sus decisiones y manejo, sobreestimando la originalidad, rigurosidad y potencialimportancia del estudio. Para evitar este problemadebemos: 1. Evaluar el método de obtención delos datos, para determinar si efectivamente escapaz de obtener con acuciosidad los datos de-seados (ejemplo: análisis de fichas, las cuales nonecesariamente son 100% confiables); 2. Evaluarsi hay suficiente información respecto de la inter-vención efectuada (dosis del medicamento y natu-raleza del placebo; características detalladas de laintervención) y de los sujetos reclutados (cuantosfueron invitados a participar, cuantos realmenteaceptaron, hay balance entre razas y sexos, etc.);3. Evaluar si se controlaron factores confundentes(evaluar si los pacientes del grupo estudio y con-trol difieren solo en la intervención estudiada y noen otra intervención adicional); 4. Evaluar si lainformación es realmente original y contributoria(significa si ya hay muchos estudios similares).

– ¿Qué resultado fue medido y como se mi-dió?. Debe evaluarse si el resultado medido es deimportancia con relación al problema que suscitael estudio. De este modo si se prueba un nuevotratamiento para una enfermedad potencialmentemortal, el resultado clínicamente relevante a eva-luar es el tiempo de sobrevida y la calidad de vida.No es de interés evaluar el nivel plasmático dealguna sustancia que potencialmente se correla-ciona con la posibilidad de una mayor sobrevida.

La medición de un efecto sintomático (dolor),funcional (movilidad), psicológico (ansiedad) o so-cial (incomodidad social) está lleno de dificultades.En estos casos debe buscarse evidencia en elartículo de que el resultado medido fue objetiva-mente validado; esto es por ejemplo confirmar quealguien ha validado la escala de dolor o ansiedadutilizada, y que esta escala realmente mide lo quese desea que mida; y finalmente que cambios enla medida del resultado reflejen verdaderos cam-bios en el estado del paciente, esto porque cam-bios importantes para el médico no necesariamen-te lo son para el paciente o viceversa.

PASO 5. Evaluación de los posibles sesgos

El sesgo sistemático se define como cualquiercosa que influya en las conclusiones acerca de losgrupos y distorsione las comparaciones. Ya seaque el estudio sea randomizado y controlado, o unestudio comparativo no randomizado, o decohorte, o caso-control, el objetivo es que los gru-pos sean comparables excepto respecto de laparticular diferencia que se está estudiando. Asípor ejemplo, los pacientes deben, tanto como seaposible, recibir las mismas explicaciones, tener elmismo contacto con los médicos, ser evaluados elmismo número de veces y por los mismos resulta-dos. Diferentes diseños tienen diferentes necesi-dades para evitar el sesgo sistemático.

Estudios randomizados controlados: en un es-tudio randomizado el sesgo sistemático, en teoría,es evitado por seleccionar pacientes de una po-blación dada y asignarlos al azar a los diferentesgrupos. Sin embargo, potenciales fuentes de ses-go sistemático en este tipo de estudios son:

– Sesgo de selección: el cual se origina poruna randomización inadecuada, haciendo que losgrupos tengan diferencias.

– Sesgo de intervención: se origina si los pa-cientes son manejados de un modo diferente se-gún el grupo, de ese modo habrá más de unaintervención diferente sobre cada grupo.

– Sesgo de exclusión: se origina si la pérdidade pacientes es mayor en uno de los dos grupos,principalmente si se pone menos atención al gru-po control.

– Sesgo de detección: si la medición de losresultados se efectúa de modo diferente, por ejem-plo utilizando un método más sensible en el grupoestudio.

Estudios clínicos controlados no randomizados:Estos estudios agregan a los sesgos descritospara los estudios randomizados, el sesgo poten-

70 REV CHIL OBSTET GINECOL 2004; 69(1)

cial de la falta de randomización. No rara vez lospacientes son asignados a un grupo medianteeventos que significan potencialmente un sesgo.Por ejemplo: si los pacientes dados de alta delhospital son asignados a un tratamiento, mientrasque los en control en policlínico son asignados aotro tratamiento.

Como regla general, si el estudio es no rando-mizado, se debe usar el sentido común para eva-luar si las diferencias basales entre el grupo estu-dio y el grupo control son suficientemente grandescomo para invalidar las diferencias detectadas yadscritas a la intervención en estudio. Con muchafrecuencia este es el caso en este tipo de diseños.

Estudios de cohorte: La selección de un grupocomparable es el problema más difícil en este tipode estudios. Solo pocos estudios de cohorte lo-gran encontrar grupos que siendo equivalente enedad, sexo, estatus socioeconómico, enfermeda-des coexistentes, etc., difieren sólo en la interven-ción estudiada. En la práctica mucho del controlde variables en este tipo de artículos se efectúaen la etapa de análisis, en que observamos com-plejas correcciones estadísticas para ajustar por lavariabilidad basal de los grupos.

Estudios caso-control: En estudios caso-con-trol (en el cual la experiencia de un individuo conuna enfermedad particular es analizado de modoretrospectivo para identificar un agente potencial-mente causante), el proceso más potencial desesgo no es la medición del resultado, sino que eldiagnóstico de “no caso” (control) y la decisión decuando el individuo se transforma en un caso.

PASO 6. Evaluación del doble ciego

Incluso los intentos más acuciosos para gene-rar grupos comparables serán perdidos, especial-mente si la persona que mide el resultado sabe aque grupo pertenece el paciente. El investigadorpodría reevaluar el resultado si este es inapropia-do al tratamiento que se está evaluando. Si porejemplo se está probando una droga hipotensora,y la paciente es del grupo estudio, pero la presiónarterial está más alta, el evaluador tenderá a me-dir nuevamente la presión.

Es importante que se haga el máximo esfuerzoposible por lograr el “ciego” tanto al pacientecomo al médico. Esto, muchas veces requiere,que el investigador no participe directamente enla atención de los pacientes. Si el estudio fuemetodológicamente bien logrado, y los investi-gadores pusieron especial énfasis en lograr elenmascaramiento de la intervención, ello debe

aparecer reflejado en la sección de métodos endetalle, y no como una simple frase.

PASO 7. Evaluación de los métodosestadísticos utilizados

Para lograr este paso no se requiere ser unexperto en estadística, pero si se requiere teneralgunos conceptos claros sobre como y cuandoaplicar un determinado tipo de test estadístico.Existen tres elementos estadísticos a los que sedebe poner especial atención, y los cuales debenestar explícitamente detallados en la sección demétodos del paper:

1. El cálculo del tamaño muestral.2. La duración estimada del seguimiento y el

número estimado de pacientes que lo completarán.3. El análisis según intención de tratar.

1. Tamaño muestral: Un estudio debe ser sufi-cientemente grande para tener una alta probabili-dad de detectar con significancia estadística unefecto benéfico si es que existe, y estar razona-blemente seguro de que el beneficio no existe siel estudio no lo detecta.

Para calcular el tamaño muestral, el clínicodebe decidir dos cosas. La primera decisión escual nivel de diferencia entre ambos grupos cons-tituirá un efecto clínicamente significativo. Estevalor es por cierto diferente de la diferencia esta-dística. En segundo lugar deberá estimar el pro-medio y desviación estándar de la principal varia-ble medida.

Mediante el uso de un nomograma los autorespodrán, antes de efectuar el estudio, saber el ta-maño muestral necesario para tener una probabi-lidad moderada, alta o muy alta de detectar unadiferencia que realmente existe entre los dos gru-pos, esto es lo que se denomina poder estadísti-co, y habitualmente se fija entre 80-90%. Existennumerosos estudios publicados con bajo poder,probablemente porque para los autores resultómucho más difícil de lo estimado el reclutar a lospacientes. Esto lleva al error de tipo II o β, que es laconclusión errónea de que la intervención no tuvoefecto, que es lo opuesto del error de tipo I o α, quees más raro y corresponde a la conclusión de queexiste una diferencia que no existe.

2. Duración y lo completo del seguimiento:Aunque el tamaño muestral sea suficientementegrande, el estudio debe continuar por un tiemponecesariamente largo como para que el resultadoprincipal sea evaluado. La duración depende ex-clusivamente de la variable que se desee analizar.

71GUÍA PARA EL ANÁLISIS CRÍTICO DE PUBLICACIONES CIENTÍFICAS / JORGE A. CARVAJAL C.

Los sujetos que se retiran del seguimientocomparado con los que siguen el estudio, conmayor probabilidad no tomaron los medicamentoscomo se les indicó, con más frecuencia perdieronsus controles médicos, o tienen mayor frecuenciade efectos adversos del medicamento. Las razo-nes para que un paciente se retire del seguimien-to son:

– Entrada incorrecta del paciente al estudio,esto es, que el investigador descubra durante elestudio que un paciente fue randomizado y entróal estudio, pero no cumplía con los criterios deinclusión.

– Sospecha de reacción adversa a la droga enestudio. Hay que notar que la tasa de reaccionesadversas al medicamento debe compararse con latasa de reacciones adversas en el grupo placebo;las tabletas inertes son capaces de producir unrush alérgico en un número no despreciable depersonas.

– Pérdida de la motivación del paciente.– Retiro del estudio por decisión de su médico

tratante. Esto sucede con frecuencia por la apari-ción de una enfermedad concomitante o por lasensación de falta de mejoría.

– Pérdida del seguimiento. Ejemplo: si la pa-ciente se cambia de domicilio.

– Muerte del paciente.3. Análisis según intención de tratar: El ignorar

a todos aquellos que se retiren del estudio produ-cirá un sesgo del resultado (sesgo de análisis),usualmente a favor de la intervención analizada(porque como se indicó aquellos con efectos ad-versos o mal resultado con mayor frecuencia seretiran del estudio). Por eso el estándar actual esanalizar los resultados de estudios comparativossegún “intención de tratar”. Esto significa que to-dos los datos de los pacientes randomizados auna rama del estudio deben ser utilizados para elanálisis, es decir todo paciente que se randomizadebe considerarse en aquella rama en que fuerandomizado. Esto incluye aquellos quienes deja-ron el estudio antes de ser terminado, aquellosque no se tomaron las tabletas, e incluso aquellosque posteriormente recibieron la intervención con-trol por cualquier motivo. Del mismo modo aque-llos que fueron randomizados a placebo deben seranalizados con ese grupo, ya sea que tomaron ono el placebo, y si completaron o no el seguimien-to. Las comparaciones entre aquellos que efecti-vamente tomaron las tabletas o recibieron la inter-vención completa, son sólo útiles como análisissecundarios que motiven nuevos estudios, pero

no son útiles para obtener conclusiones científica-mente validadas. Así por ejemplo, en pocas situa-ciones no se utiliza el análisis según “intención detratar”; el ejemplo más común son los estudiospara análisis de eficacia, el que se utiliza paraevaluar los efectos de la intervención en si misma,y por lo tanto analiza según la intervención efecti-vamente recibida. Pero, aun si los sujetos para unanálisis de eficacia provienen de un estudiorandomizado, para los propósitos del análisis ellosconstituyen un estudio de cohorte.

PASO 8. Evaluación de los resultados y de lasconclusiones

Los resultados son la parte más importante deltrabajo. Habitualmente los datos más relevantesaparecen presentados en tablas o gráficos. Estosdeben ser observados con cautela para ver losdatos crudos. Muchas veces los autores presen-tan los datos como porcentaje de un valor, paraintentar hacer mayores pequeñas diferencias. Alfinal de los resultados el lector debe establecersus propias conclusiones. Son estas las que real-mente valen. La idea es que en este punto ya seconoce el problema a estudiar (introducción), elmétodo usado (diseño experimental), y los resulta-dos, por lo tanto es posible hacer las conclusionespropias, la que serán adecuadas a los datos y noestarán sesgadas por el deseo de determinadoresultado, como ocurre a los autores.

No debe leer las conclusiones sin antes tenerlas propias, extraídas de los datos presentados.En las conclusiones los autores presentan un re-sumen de los datos y la interpretación de losmismo, las que no rara vez difieren de las propias.Las conclusiones válidas son sólo aquellas que sebasan en los datos presentados, y no en tenden-cias, o en “grandes diferencias pero que no alcan-zaron significación estadística”. Las conclusionespropias del lector orientan a lo que hará con lainformación obtenida, y no rara vez son diferentesde las de los autores.

RESUMEN

1. Evaluar cuidadosamente el título, los auto-res y la introducción.

2. Determinar la contribución del estudio alconocimiento (originalidad)

3. Comprobar la población estudiada (validezexterna del estudio).

4. Caracterizar el diseño.5. Evaluar si se evitó el sesgo.

72 REV CHIL OBSTET GINECOL 2004; 69(1)

6. Comprobar si se enmascaró la intervención(doble ciego).

7. Evaluar si los detalles estadísticos fueroncuidados.

8. Leer los datos crudos y obtener conclusio-nes.

Si un estudio no cumple con todas las caracte-rísticas deseadas para ser considerado metodoló-gicamente impecable, no significa que deba serdescartado o eliminado. Lo importante es descubrircuales son los problemas del estudio, y estimarcuales son las conclusiones a que validamente sepuede aspirar considerando las falencias y carac-terísticas del diseño. El lector deberá por lo tanto

extraer sus propias conclusiones respecto de losresultados entregados (los datos son objetivos, lainterpretación de los mismos no lo son), las cualesno rara vez difieren de las conclusiones de losautores.

BIBLIOGRAFÍA

1. Greenhalgh T. Assessing the methodological qualityof published papers. BMJ 1997; 315(7103): 305-8.

2. Moher D, Schulz KF, Altman DG. The CONSORTstatement: revised recommendations for improvingthe quality of parallel-group randomised trials. Lancet2001; 357: 1191-94.