artikkelin kriittinen arviointi

Artikkelin kriittinen arviointi

Jouko Miettunen 18.3.2011

Artikkelin arviointi

Onko tutkimuksen tulos uskottava?

Onko tutkimuksesta hyötyä

kliiniseen työhön?

Evidence Based Medicine• kliinikon on saatava tutkimustietoa nopeasti ja tiedon on

oltava luotettavaa• kliinikon on osattava etsiä tietoa, seuloa tietoa ja arvioida

tiedon oikeellisuutta• mahdollisesti harhaisia tiedonlähteitä

• kollegat, ilmaiset lehdet, lääketehtaiden mainokset ja lääke-edustajat

• kouluttautuminen• konferenssit, journal clubs• lukeminen: yleislehdet, huippulehdet• perustiedot: oppikirjat, katsaukset

• mahdollisesti myös virheeellistä tietoa• auttaa potilastyössä

• potilaatkin ovat etsineet tietoa

Fletcher & Fletcher J Gen Intern Med 1997

Kokeellinen vs. epäkokeellinen tutkimus

Kokeellinen tutkimus (experimental study)• tutkija päättää käsittelyn eli altistuksen, järjestää

koetilanteen• vertaillaan tuloksia altistuksen saaneessa ryhmässä ja

muissa ryhmissä

Epäkokeellinen tutkimus, Havaintotutkimus (non-experimental study, observational study)• tutkijalla ei ole päätäntävaltaa altistukseen, eli eri

altistusryhmät muodostuvat tutkijasta riippumatta, eikä altistusryhmien vertailukelpoisuutta ole

• ei aktiivisesti vaikuteta altistumisen jakautumiseen tutkittavien kesken, eli ei sisällä interventiota tai koetta

• tutkija toimii vain havainnoijana

5

Tutkimusasetelmien hierarkia kausaliteetin tutkimisessa

Stephenson & Babiker Sex Transm Dis 2000

Randomized Controlled

Trial

PLOS Medicine 2005;2:e124

HAVAINTOTUTKIMUKSET

Otsikko ja abstrakti

• Tutkimusasetelma hyvä ilmoittaa otsikossa tai abstraktissa.

• Abstraktin selkeys tärkeää:– mitä tehtiin ja löydettiin?– taustatiedot, tutkimuksen tavoitteet

(hypoteesit?), metodit, päätulokset, johtopäätökset

– strukturoitu abstrakti parempi kuin ei-strukturoitu

Vandenbroucke ym. Strengthening the reporting of observational studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35.

Johdanto• Aiheen tieteellinen tausta täytyy esittää

riittävissä määrin:– olennaiset alkuperäistutkimukset– tärkeät, viimeaikaisimmat katsaukset aiheesta

mitä tiedetään aiheesta ja mitä puutteita tiedoissa/tutkimuksessa aiheeseen liittyen on?

• Tutkimuksen tavoitteet:• sisältäen maininnan tutkimusaineistosta, altisteesta,

vasteesta ja muista tärkeistä muuttujista (jos vain mahdollista)

• mahdolliset hypoteesit tai kysymykset joihin tutkimuksella halutaan vastata

MenetelmätTutkimusasetelma

– Onko selitetty mahdollisimman tarkkaan? Usein tutkimuksessa voi olla piirteitä useista eri asetelmista.

– Onko kuvattu lähdeväestö, josta aineisto on kerätty?

Tutkimuksen paikka ja aika (setting)– tutkimuksen paikka

• mistä tutkittavat kerätty? sairaala, avohoito jne…• mikä kaupunki, mikä maa?

– tutkimuksen aika:• tutkittavien keruun ajankohta• altisteiden, vasteiden ja muiden muuttujien keruun ajankohta• seurannan pituus

Tutkittavat - kohorttitutkimus– Onko selitetty mistä lähdejoukosta ja millä metodilla ja kriteereillä tutkittavat

valittu?– Onko seurannan metodit selitetty?– Jos kyseessä kaltaistettu tutkimus (matched study), onko selitetty

kaltaistamisen kriteerit ja altistuneiden ja ei-altistuneiden määrät?

Tutkittavat – tapaus-verrokkitutkimus– Mistä lähdejoukosta ja millä metodilla ja kriteereillä tapaukset ja verrokit

valittu?– Millä perusteilla tapaukset ja verrokit valittu?– Jos kyseessä kaltaistettu tutkimus (matched study), onko selitetty

kaltaistamisen kriteerit ja verrokkien määrä per tapaus?

Tutkittavat – poikittaistutkimus– Onko selitetty mistä lähdejoukosta ja millä metodilla ja kriteereillä tutkittavat

valittu?

Muuttujat– Onko kaikki muuttujat selkeästi selostettu?

• altisteet (exposure)• vastemuuttujat (outcome)• sekoittavat tekijät (confounder)

– Onko diagnostiset kriteerit selitetty?

Aineiston/muuttujien lähde, mittaaminen– Onko selitetty mistä lähteestä muuttujat saatu?– Millä tavoin muuttujat kerätty/mitattu?– Onko selitetty miten päädytty tutkittavan aineiston kokoon?

Kato?

Määrälliset muuttujat – Onko selitetty kuinka muuttujat luokiteltiin ja miksi?– Onko eri muuttujaluokat kuvattu?

Tilastolliset menetelmät

– Onko kaikki käytetyt tilastolliset menetelmät selitetty?

– Onko selitetty alaryhmille tehdyt analyysit? Interaktioiden tutkimiseksi tehdyt

analyysit?

– Kuinka käsitelty puuttuvaa dataa?

– Kohorttitutkimus – onko selitetty miten kato huomioitu?

– Tapaus-verrokkitutkimus – miten tapausten ja verrokkien kaltaistaminen

(matching) huomioitu?

– Poikittaistutkimus – onko analyyseissä otettu huomioon aineiston valinnan

metodi?

Aineiston kato

– kodittomat, sellaiset joihin ei saada yhteyttä

– jäävätkö sairaammat tai terveemmät katoon?

– esim. rikollisuuteen ja päihteiden käyttöön liittyvä

epidemiologinen tutkimus on vaikeaa, koska nämä

asiat ovat laittomia ja tutkittavat pelkäävät ”kiinni

jäämistä”

– psykiatrisiin häiriöihin liittyvä häpeä, stigman pelko

Haapea ym. Non-participation may bias the results of a psychiatric survey. Soc Psychiatry Psychiatr Epidemiol 2007; 42:403-9.

Tulokset

• Tuloksissa tulee kertoa mitä löydettiin alkaen aineiston kuvailusta.

• Päätulokset, avustavat analyysit

• Ei tulkintaa eikä kirjoittajien omia mielipiteitä

Kuvaileva data

• Tutkittavan joukon ominaisuudet (demografiset, kliiniset, sosiaaliset) tulee olla kuvailtu. Altisteet ja mahdolliset sekoittavat tekijät tulee olla kuvailtu

• Jokaisen muuttujan kohdalla tulee ilmoittaa tutkittavien määrä joilta tämä tieto puuttuu

• Kohortti tutkimuksessa tulee ilmoittaa seuranta-aika (keskiarvo, keskihajonta ja kokonaisaika)

Päätetapahtumat - outcome

• Kohortti tutkimus—Tapahtumien lukumäärä tai sopiva yhteenveto tunnusluku

• Tapaus-verrokkitutkimus—Tapahtumien lukumäärä joka kategoriassa tai sopiva yhteenveto tunnusluku

• Poikkileikkaustutkimus—Tapahtumien lukumäärä tai sopiva yhteenveto tunnusluku

Päätulokset

• Vakioimattomat ja sekoittavilla tekijöillä vakioidut tulokset 95% luottamusväleineen

• Tulee olla selkeästi ilmoitettu millä tekijöillä on vakioitu ja miksi ne on valittu

• Jos jatkuvia muuttujia on luokiteltu rajat tulee esittää

• Suhteelliset riskit on hyvä ilmoittaa absoluuttisina riskeinä sopivaa ajanjaksoa kohti

• Myös muut analyysit - esim alaryhmä analyysit, interaktiot ja sensitiivisyys analyysit - tulee olla esitetty

Pohdinta

• Päätulokset vedetään yhteen tutkimuksen

tarkoituksen valossa

• Limitaatio-osassa tulee olla otettu huomioon

mahdolliset harhat (bias), näiden syyt ja

mahdolliset vaikutukset tuloksiin (suunta ja

voimakkuus)

satunnainen virhe ja systemaattinen harha (random error / systematic bias)

• Virhe (error): tiedon keräämisessä tapahtunut väärä mittaus

• Harha (bias): tiedon keräämisessä esiintyvä ongelma kun tietoa kerätään valikoituneesti tai mittausmenetelmä tuottaa järjestelmällisesti virheellisen tuloksen

– johtaa todellisen yhteyden heikkenemiseen– tuoda esille olemattoman yhteyden – vääristää olemassa olevaa yhteyttä

Systemaattinen harha

• tärkeä tietää ja tunnistaa tutkimuksessa!• vaikuttaa tutkimuksen ja sen tulosten laatuun• voi johtua virheistä tutkimuksen asetelmassa,

aineiston keruussa, aineiston analysoinnissa tai tulosten tulkinnassa (eli missä vain vaiheessa tutkimusta)

• hyvin useita erilaisia muotoja, esim.:– Informaatioharha (information bias)– Mittausharha (measurement bias)– Valintaharha (selection bias)– Julkaisuharha (publication bias)

Berksonin harha

• esimerkki valintaharhasta• sairaalapotilaat ovat vaikeammin sairaita kuin

tavalliset potilaat ja sairaalapotilailla on enemmän muuta sairautta

• suurten sairaaloiden potilaillaan tekemät tutkimukset eivät välttämättä ole sovellettavissa esim. terveyskeskuksen potilaisiin

Berkson's bias and the mood dimensions of bipolar disorder

• In this paper we examined whether manic and depressive dimensions independently contribute to mental health service use and determined the degree of comorbidity between manic and depressive dimensions in individuals with and without mental health service use.

• Netherlands Mental Health Survey and Incidence Study (NEMESIS)• Dimensions of depression and mania and mental health service use

(MHSU) were assessed with the Composite International Diagnostic Interview (CIDI) at baseline, and prospectively one and three years later.

• Manic and depressive dimensions contributed independently to mental health service use.

• Mania-comorbidity given the presence of depressive dimension was significantly higher in individuals with mental health service use than in those without, both retrospectively (16.7% versus 7.1%, p = 0.000) and prospectively (10.8% versus 6.6%, p = 0.017).

• We conclude that the bipolar phenotype consists of manic and depressive dimensions that may be much more loosely associated than (Berkson) biased clinical observations suggest.

Regeer ym. Int J Meth Psychiatr Res 2009; 18:279-86.

Tulkinta• Esitettynä varovainen tulkinta tuloksista ottaen

huomioon tavoitteet, rajoitukset, analyysien monimuotoisuus, samankaltaisten muiden tutkimusten tulokset ja muu asiaan liittyvä todistusaineisto

• Tilastollinen merkitsevyys ei sama kuin kliininen merkitsevyys

• “absence of evidence is not evidence of absence”

Yleistettävyys• Arvio siitä miten hyvin tutkimuksen tuloksia voi yleistää

(external validity)

Bradford Hillin - kriteerit1. Yhteyden voimakkuus (strength)

– riskitekijän ja sairauden välillä pitää olla selvä ja voimakas assosiaatio

2. Ajallisuus (temporality)– riskitekijän esiintymisen täytyy edeltää sairautta

3. Biologinen mielekkyys (biological plausibility)– Syy-seurausuhteelle pitää olla uskottava biologinen

selitys

4. Yhtäpitävyys (consistency)– yhteyden tueksi pitää olla löydöksiä eri tutkimuksista,

joissa on käytetty erilaisia tutkimusasetelmia ja aineistoja

KAUSALITEETTI: SYY - SEURAUS

Bradford Hillin - kriteerit5. Annos-vaste -suhde (dose-response, biological gradient)

- mitä enemmän riskitekijää, sitä suurempi todennäköisyys sairastua

6. Riskitekijän spesifisyys (specificity)

- tutkittava riskitekijä yksin aiheuttaa sairauden

7. Sairaus voidaan ehkäistä tai lievittää poistamalla riskitekijä tai riskitekijää lisäämällä voidaan lisätä sairastapausten määrää (experiment)

8. Kuinka hyvin mahdollinen kausaalisuus sopii nykyisiin teorioihin ja tietoon (coherence)

9. Ei löydetä muita vakuuttavia selityksiä

Kirjallisuutta• Fleming JA & Hsieh C-C. Introduction to epidemiological research

methods. Kirjassa: Textbook in psychiatric epidemiology. Toim. Tsuang MT, Tohen M. John Wiley & Sons, Inc., 2002.

• Fletcher RH & Fletcher SW. Evidence-based approach to the medical literature. J Gen Intern Med 1997;12:S5-S12.

• Ioannidis JPA. Why most published research findings are false. PLoS Med 2005;2:e124.

• Rennie D, Bero LA. Throw it away, Sam: The controlled circulation journals. Am J Roentgenology 1990;155:889-92.

• Sutton-Tyrrell K. Assessing bias in case-control studies. Proper selection of cases and controls. Stroke 1991; 22: 938-42.

• Vandenbroucke ym. Strengthening the reporting of Observational Studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35.

KLIINISET KOKEET

Taustaa kliinisille kokeille

• Kokeelliset (experimental) tutkimukset

• Randomized Controlled Trial (RCT)

• Interventio

• Verrataan uutta hoitoa (lääke, terapia tms.) joko lume- eli plasebohoitoon tai aiempaan vallitsevaan lääkkeeseen

Tutkimusetiikka

• Eettinen lupa tutkimukselle

• Kliinisen kokeiden rekisteröinti

• Lupa tutkittavilta “Informed consent”

• Riittävän iso otoskoko (tilastollinen voima, power)

Phase 1 Phase 2 Phase 3 Phase 4

Number of participants

15-30 people Less than 100 people Generally, from 100 to thousands of people

Several hundred to several to thousand people

Purpose To find a safe dosage

To decide how the agent should be given

To observe how the agent affects the human body

To determine if the agent or intervention has an affect on a particular cancer

To see how the agent or intervention affects the human body

To compare the new agent or intervention (or new use of a treatment) with the current standard

To further evaluate the long- term safety and effectiveness of a new treatment

Clinical Trial Phases

Altman ym. The revised CONSORT statement for reporting randomized trials

Otsikko ja abstrakti

• Oliko kyseessä satunnaistettu koe (esim. “random allocation,” “randomized,” tai “randomly assigned”)?

Johdanto - Introduction

• Katsaus aiempiin tutkimuksiin ja peruste (tarve) nykyiselle tutkimukselle

Altman ym. The revised CONSORT statement for reporting randomized trials

Menetelmät - Methods

• Kriteerit osallistujille, mistä aineisto kerätty ja tutkimusympäristö (setting)– diagnoosimenetelmä hyväksyttävä

• Interventio - tarkasti interventio (lääke+annos, hoito, tms.) mikä kullekin ryhmälle tehtiin, miten ja milloin?

• Tavoitteet ja hypoteesit

Altman ym. The revised CONSORT statement for reporting randomized trials

• Vaste (outcome) – Määriteltävä tärkeimmät ja toissijaiset vasteet, vasteiden mittaamisen laatu – tutkittavien koulutus– luotettavuuden arviointi

• Otoskoko – Miten määriteltiin, tehtiinkö “interitem” analyyseja?– Oltava riittävän iso, eettiset ja tieteelliset syyt– Voimalaskelmat (power analysis)

Altman ym. The revised CONSORT statement for reporting randomized trials

• Satunnaistaminen (randomization)– Menetelmät tarkasti (esim. halutaanko ryhmiin

yhtä paljon miehiä ja naisia).

• Potilaan tutkimusryhmän salaaminen myös tutkijoilta mahdollisimman pitkään (allocation concealment)– Menetelmät kuvattava tarkasti

Altman ym. The revised CONSORT statement for reporting randomized trials

• Toteutus – Kuka värväsi tutkittavat, kuka määritteli ryhmät, kuka antoi lääkkeen, kuka analysoi tulokset, …

• Sokkoutus (blinding, masking)– Sekä potilaat, intervention toteuttajat, vasteen

arvioijat– Arvioitiinko onnistuiko sokkoutus– Sokkoutus ei ole aina mahdollista (open trials)

• Leikkaukset, pahat haittavaikutukset, ...

Altman ym. The revised CONSORT statement for reporting randomized trials

• Onko kuvattu kaikki tilastotieteelliset menetelmät millä ryhmiä verrattiin keskenään?

• Oliko lisäanalyyseja, esim. alaryhmien analyyseja tai adjustoituja analyyseja

• Yleiset ohjeet tilastomenetelmistä soveltuu myös kliinisiin kokeisiin

Altman ym. The revised CONSORT statement for reporting randomized trials

Tulokset - Results

• Osallistujien vuokaavio

Altman ym. The revised CONSORT statement for reporting randomized trials

• Värvääminen – Tutkimuksen alun ja seurannan ajankohdat (päivämäärät)

• Tutkimuksen alkutilanne – Osallistujien sosiodemografisia ja kliinisiä taustatietoja

• Sivuvaikutukset (side effects) ja vaaratapahtumat (adverse events)– tutkimusryhmittäin

• Analyysien otoskoot, vasteet• Tulosten varmuus (95% luottamusvälit)

“Intention to treat”

• Hoidon aikomukseen perustuva analyysi– Kaikki satunnaistetut potilaat otetaan mukaan

analyyseihin riippumatta siitä ovatko keskeyttäneet tai edes aloittaneet koetta tai säilyneet ko. lääkkeellä

– Säilytetään satunnaistamisella saatu tasapaino liittyen ennustetekijöihin

– Kaikista potilaista on kuitenkin saatava tieto lopputulosmuuttujista

Altman ym. The revised CONSORT statement for reporting randomized trials

Pohdinta - Discussion

• Tulosten tulkinta– Onko hypoteesit otettu huomioon?– Mahdolliset tutkimusharhat ja epätarkkuudet?– Miten tulkittu tulokset jos useita analyyseja

(useita vastemuuttujia) jotka antaa ristiriitaisia tuloksia?

Altman ym. The revised CONSORT statement for reporting randomized trials

• Onko tulokset yleistettävissä?

• Onko tulokset tulkittu suhteessä nykyiseen tutkimusnäyttöön?

• Onko tutkimuksella seurantaryhmä (monitoring)?– Turvallisuus

Rahoitus

• Tutkimuksen rahoittajat ja näiden tahojen rooli tutkimuksessa tulee olla esitettynä

• Jos artikkeli perustuu johonkin muuhun alkuperäistyöhön myös sen rahoittajat tulee olla ilmoitettuna

Kliiniset kokeet - kirjallisuutta

• Altman ym. The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med 2001, 134, 663-94.

• Piaggio ym. Reporting of Noninferiority and Equivalence Randomized Trials. An Extension of the CONSORT Statement. JAMA 2006, 295, 1152-60.

• Campbell ym. CONSORT statement: extension to cluster randomised trials. BMJ 2004, 328(7441), 702-8.

• Leucht ym. Second-generation antipsychotics for schizophrenia: can we resolve the conflict? Psychol Med 2009, 39, 1591-1602.

• McAlister ym. Analysis and Reporting of Factorial Trials. A Systematic Review. JAMA. 2003;289:2545-2553.

• Collins ym. Methodological standards in schizophrenia research: a critical survey of clinical trials. Intern J Meth Psychiatr Res 1992, 2, 111-6.

• WHO. Guidelines for good clinical practice (GCP) for trials on pharmaceutical products, 1995: http://www.vghtpe.gov.tw/~mre/goodexp/Fercap-Survey/WHO-GCP-1995.pdf

Meta-analyysien ongelmia

• Alkuperäiset tutkimukset eroavat huomattavasti toisistaan, joten yhdistäminen ongelmallista

• Tutkimukset eivät ilmoita kaikkia tietoja mitä haluttaisiin käyttää

• Inkluusiokriteerit vaikuttavat tuloksiin• Julkaisuharha (publication bias, file-drawer problem)

– Jos tutkimuksen tulokset eivät ole halutun mukaisia (esim. tilastollisesti merkitseviä), tulokset jätetään raportoimatta

– Osaratkaisu: kliinisten kokeiden rekisterit– Cochrane Database for Systematic Reviews kerää

tietyin laatukriteerein tehdyt meta-analyysit

Meta-analyysit kirjallisuutta• Cook ym. Methodological guidelines for systematic reviews of

randomized control trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 1995, 48, 167-71.

• Stroup ym. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA 2000, 283, 2008-12.

• Blettner M, ym. Traditional reviews, meta-analyses, and pooled analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9.

• Egger M, Smith GD, Altman DG. Systematic reviews in health care. 2. painos. Lontoo: BMJ Publishing Group, 2001.

• Sauerland S & Seiler CM. Role of systematic reviews and meta-analysis in evidence-based medicine. W J Surgery 2005;29:582-7.

jouko.miettunen@oulu.fi - www.joukomiettunen.net/presentations