testovi statistika

of 19/19
EZR - Adekvatnost merenja ADEKVATNOST MERENJA U svakom merenju postoji izvestan stepen neizvesnosti, koji može biti iskazan kao greška u merenju. Greške u merenju mogu se klasifikovati u dve kategorije: sistematske i slučajne greške. Sistematske greške daju predvidive precenjene ili potcenjene vrednosti (npr. loše kalibrisani instrument koji daje uvek precenjene ili uvek potcenjene). Za razliku od sistematskih grešaka, slučajne greške nisu predvidive, i u datom mernom procesu mogu dati i precenjene i potcenjene vrednosti. Greške u merenju nastaju delovanjem različitih faktora kao što je to loša kalibracija instrumenta, neodgovarajuće vreme odziva instrumenta u odnosu na promene merene varijable, uticaj samog instrumenta namerenu veličinu, delovanje okoline, humani faktori – međuposmatrački i unutarposmatrački varijabilitet (npr. kako lekar ocenjuje depresivnost pacijenta na nekoj skali). Slučajne greške nastaju i usled “šuma” - malih i brzih promena u okolini ili u samom instrumentu koje mogu uticati na izmerenu vrednost. Identifikacijom i smanjenjem grešaka merenje se može učiniti više adekvatnim. Adekvatnost merenja podrazumeva koncepte kao što su tačnost, preciznost, slaganje, valjanost i pouzdanost. . TAČNOST Odnosi se na bliskost izmerene vrednosti i tačne/korektne vrednosti (označena kao referentna, kriterijumska, ili vrednost zlatnog standarda). Primer: Cilj je bio evaluacija tačnosti novog automatskog brojača retikulocita u odnosu na referentne vrednosti koje su dobijene manuelnim / vizuelnim brojanjem od strane dva laboratorijska tehničara. Na osnovu sedam uzoraka, koeficijent korelacije iznosio je 0.96 što se prihvaćeno kao zadovoljavajuće slaganje automatskog brojača sa referentnim vrednostima. .

Post on 25-Dec-2015

80 views

Category:

Documents

14 download

Embed Size (px)

DESCRIPTION

medicina

TRANSCRIPT

  • EZR - Adekvatnost merenja

    ADEKVATNOST MERENJA

    U svakom merenju postoji izvestan stepen neizvesnosti, koji moe biti iskazan kao

    greka u merenju. Greke u merenju mogu se klasifikovati u dve kategorije:

    sistematske i sluajne greke. Sistematske greke daju predvidive precenjene ili

    potcenjene vrednosti (npr. loe kalibrisani instrument koji daje uvek precenjene ili

    uvek potcenjene). Za razliku od sistematskih greaka, sluajne greke nisu

    predvidive, i u datom mernom procesu mogu dati i precenjene i potcenjene

    vrednosti. Greke u merenju nastaju delovanjem razliitih faktora kao to je to loa

    kalibracija instrumenta, neodgovarajue vreme odziva instrumenta u odnosu na

    promene merene varijable, uticaj samog instrumenta namerenu veliinu, delovanje

    okoline, humani faktori meuposmatraki i unutarposmatraki varijabilitet (npr.

    kako lekar ocenjuje depresivnost pacijenta na nekoj skali). Sluajne greke nastaju i

    usled uma - malih i brzih promena u okolini ili u samom instrumentu koje mogu

    uticati na izmerenu vrednost.

    Identifikacijom i smanjenjem greaka merenje se moe uiniti vie adekvatnim.

    Adekvatnost merenja podrazumeva koncepte kao to su tanost, preciznost,

    slaganje, valjanost i pouzdanost.

    .

    TANOST

    Odnosi se na bliskost izmerene vrednosti i tane/korektne vrednosti (oznaena kao

    referentna, kriterijumska, ili vrednost zlatnog standarda).

    Primer: Cilj je bio evaluacija tanosti novog automatskog brojaa retikulocita u

    odnosu na referentne vrednosti koje su dobijene manuelnim / vizuelnim

    brojanjem od strane dva laboratorijska tehniara. Na osnovu sedam uzoraka,

    koeficijent korelacije iznosio je 0.96 to se prihvaeno kao zadovoljavajue

    slaganje automatskog brojaa sa referentnim vrednostima.

    .

  • PRECIZNOST

    Preciznost je bliskost nezavisnih merenja istog kvantiteta ili kvantiteta napravljenog

    pod istim uslovima. Za ocenu preciznosti koriste se mere varijabiliteta, a najee

    koeficijent varijacije (CV). Male vrednosti CV ukazuju na precizno merenje. U

    laboratorijskim uslovima odreuje se pravljenjem poduzoraka od istog materijala.

    Primer: Na istom ispitaniku na istom mernom mestu pet puta je ponovljeno

    merenje mineralne gustine primenom DXA metode. Dobijene su sledee

    vrednosti (g/cm2): 0.85, 0.89, 0.86, 0.82, 0.85. Zakljueno je da merenje ima

    zadovoljavajuu preciznost (CV = 2.9%).

    Primer: Od istog uzorka plazme napravljeno je pet poduzoraka i izmerene su

    sledee vrednosti HDL holesterola (mg/dL): 55, 56, 55, 54, 57. Ocenjeno je da

    merenje ima zadovoljavajuu preciznost (CV = 2.1%)

    .

    SLAGANJE

    Odnosi se na bliskost izmerenih vrednosti razliitim metodama, pri emu se niti

    jedan od njih ne moe proglasiti referentnim/zlatnim standardom, pa se i ne moe

    primeniti ocena tanosti. Metode za ocenu slaganja prikazane su u delu ove lekcije

    pod nazivom Meuposmatraka pouzdanost.

    VALJANOST I POUZDANOST

    Vrlo esto merenja u medicini zasnivaju se na primeni papirnih instrumenata -

    upitnika i skala. Izmerena vrednost na takvim instrumentima dobija se

    kombinacijom odgovara na pitanja (stavke, ajteme) na upitniku ili skali, ime se

    dobija kompozitni skor. Adekvatnost takvog mernog procesa, primenom

    kompozitnih skorova, opisana je konceptima valjanosti (validnosti) i pouzdanosti

    (relijabilnosti). Koncept valjanosti srodan je konceptu tanosti, a koncept

    pouzdanosti srodan je konceptu preciznosti.

  • Pouzdanost oznaava do koje mere se metoda merenja (test) konzistentno ili

    postojano ponaa, a valjanost je odnos izmeu onog to se pretpostavlja da bi

    instrument (test) trebalo da meri i onog to on stvarno meri.

    POUZDANOST

    Postoje tri standardna naina za ocenu pouzdanosti: interna konzistentnost,

    meuposmatraka pouzdanost i test retest pouzdanost. Pouzdanost se ocenjuje

    primenom razliitih tipova koeficijenata pouzdanosti. Uopte uzev, vrednosti

    koeficijenata pouzdanosti preko 0.7 smatraju se prihvatljivim.

    .

    INTERNA KONZISTENTNOST je mera slaganja individualnih stavki (ajtema) na

    skali i oznaava stepen do kojeg su stavke meusobno korelisane. Ovom prilikom,

    svaka stavka se posmatra kao poseban instrument za merenje ispitivanog

    konstrukta, tako da koherentnost izmeu njih sugerie da svi ajtemi mere istu stvar

    (a takoe i sve stavke zajedno kao celina).

    Interna konzistencija skale zavisi od interne konzistencije konstrukta kojeg teimo

    da tom skalom izmerimo, i vea je kod unidimenzionalnih konstrukata nego kod

    onih sa dva ili vie nezavisnih domena.

    Interna konzistentnost je prosena korelacija izmeu stavki unutar skale. Vrednosti

    Cronbach alfa preko 0,7 su zadovoljavajue.

    Interna konzistentnost se najee ocenjuje:

    alfa koeficijentom (Cronbach alfa), za skale koje nemaju dihotomne stavke, ili

    Kuder-Richardsonovom formulom 20 (KR-20), za skale koje imaju dihotomne

    stavke.

    .

    Opis podataka: Za 17 ispitanika dati su podaci na Bekovoj skali za anksioznost.

    Ova skala sastoji se od 21 pitanja (stavke, ajtema), a koristi se za procenu

    simptoma opte anksioznosti. Pacijenti odgovaraju na svako pitanje i procenjuju

    sopstveno stanje na skali od 0 (odsustvo simptoma) do 3 (veoma izraeni

    simptomi). Zbir svih ajtema daje totalan skor (maksimalno 63).

  • Dati ocenu interne konzistentnosti ove skale.

    .

    Procedura u EZR-u:

    1) Preuzeti i uitati bazu podataka BAI.xlsx

    2) Cronbachov alfa koeficijent dobija se klikom na liniji sa komandama: Statistical

    analysisAccuracy of diagnostic testCronbach` lpha coefficient of

    reliability

    U dijalog prozoru koji se pojavio:

    o u polju Variables (pick three or more) oznaiti stavke za koje se izraunava

    interna konzistentnost

    o kliknuti na dugme OK

  • U prozoru sa rezultatima pojavili su se rezultati primenjene statistike

    procedure.

    .

    3) Zakljuak: BAI poseduje adekvatan nivo interne konzistentnosti (Cronbach

    alfa=0,93).

    .

    .

    MEUPOSMATRAKA POUZDANOST meri slaganje dva ili vie posmatraa koji

    koriste iste informacije o istom objektu. Najee se koristi za procenu

    meuposmatrake pouzdanosti razliitih skala. Kod upitnika se ne izraunava jer se

    radi o instrumentima za samoprocenu.

    Postoji vie postupaka za izraunavanje koeficijenata meuposmatrake

    pouzdanosti.

    o intraklasni koeficijent korelacije (ICC),

    o Pearsonov koeficijent korelacije,

    o kappa koeficijent,

    o Spearmanov koeficijent korelacije i

    o Kendallov koeficijent konkordancije.

    .

    Opis podataka: Dvojica radiologa postavljaju dijagnozu karcinoma plua na osnovu

    radiografskog snimka. Njihove odluke o dijagnozi za 92 pregledana pacijenta date

    su u fajlu radiolozi. Oceniti slaganje dva radiologa koje se odnosi postavljanje

    dijagnoze karcinoma plua na osnovu radiografskog snimka.

    Slaganje radiologa bie ocenjeno primenom kappa koeficijenta.

  • .

    Procedura u EZR-u:

    1) Preuzeti i uitati bazu podataka radiolozi.xlsx

    2) Prvo je potrebno napraviti tabelu kontingencije to se postie klikom na liniji sa

    komandama: Statistical analysisDiscerete variablesCreate two-way table

    and compare two proportions (Fisher`s exact test)

    U dijalog prozoru koji se pojavio:

    o u okviru polja Row variable (pick one or more): odabrati prvog ocenjivaa

    o u okviru polja Column variable (pick one): odabrati drugog ocenjivaa

    o odekirati sva ostala polja

    o kliknuti na dugme OK

  • U prozoru sa rezultatima pojavila se tabela kontingencije koja prikazuje odluke

    radiologa.

    3) Kappa koeficijent dobija se klikom na liniji sa komandama: Statistical

    analysisAccuracy of diagnostic testKappa statistics for agreement of

    two tests

    U prozoru koji se pojavio, na osnovu tabele kontingencije, uneti apsolutne

    uestalosti kategorija odluka oba radiologa.

    .

    4) Zakljuak: Radiolozi imaju adekvatan nivo slaganja u postavljanju dijagnoze

    (kappa=0,74).

    .

    .

  • TEST-RETEST POUZDANOST je ocena stabilnosti skale u vremenu, odnosno mera

    slaganja rezultata koji se dobijaju ponovljenim merenjem na istim objektima pod

    uslovom da nije dolo do promene stanja tih objekata.

    Ocenjuje se primenom:

    o intraklasnog koeficijenta korelacije,

    o Pearsonovog koeficijenta linearne korelacije ili

    o Spearmanovog koeficijenta rang korelacije

    Ova vrsta pouzdanosti je posebno znaajna ako se skala koristi za ocenu promene

    stanja ispitanika u toku tretmana. Ako skala nema dovoljno visoku test-retest

    pouzdanost, onda je nemogue odrediti da li je izmerena promena stvarna ili

    predstavlja sluajnu greku skale.

    Zadovoljavajua vrednost koeficijenta test retest pouzdanosti iznosi preko 0,7

    .

    Opis podataka: Kod 16 ispitanika starijih od 65 godina meren je kognitivni status.

    Za procenu kognicije korien je Mini Mental State Examination (MMSE). Testiranje

    je raeno dva puta u razmaku od 7 dana radi procene test-retest pouzdanosti

    MMSE.

    .

    Procedura u EZR-u:

    1) Preuzeti i uitati bazu podataka MMSE.xlsx

    Test-retest pouzdanost izraunaemo pomou Pearsonovog koeficijenta korelacije

    koji se u EZR dobija klikom na liniji sa komandama: Statistical

    analysisContinuous variablesTest for Pearson`s correlation

  • U prozoru koji se pojavio:

    o u okviru polja Variables (pick two) oznaiti varijable za koje odreujemo test

    retest

    o kliknuti na dugme OK.

    U prozoru sa rezultatima pojavili su se rezultati primenjene statistike

    procedure.

    2) Zakljuak: Test retest pouzdanost MMSE je zadovoljavajua (r=0,94).

  • DIJAGNOSTIKA VALJANOST - DIJAGNOSTIKA TANOST

    Kod dijagnostike valjanosti instrument se ispituje u odnosu na kriterijumski

    standard (definitivna dijagnoza, zlatni standard) koja se najee iskazuje u

    terminima senzitivnosti, specifinosti i povrine ispod ROC krive ispitivanog

    instrumenta. U psihijatriji zlatni standard jesu dijagnostiki kriterijumi, najee

    MKB ili DSM.

    Dijagnostiki test iju tanost ispitujemo naziva se indeksni test. Njegova se tanost

    poredi sa zlatnim standardom za isto dato oboljenje. Indeksni test iz dijagnostike

    studije u praksi moe postati standardan test ako je njegova tanost

    zadovoljavajua za reavanje konkretnog zdravstvenog problema. Referentni

    (zlatni) standard je u datom trenutku najbolji raspoloivi kriterijum ili standard za

    postavljanje konane dijagnoze.

    Poreenje dijagnostikih rezultata indeksnog testa i rezultata zlatnog standarda

    moe se predstaviti u vidu dijagnostike tabele 2x2 (Tabela 1), u kojoj se ispitanici

    klasifikuju kao pozitivni ili negativni na osnovu zlatnog standarda i indeksnog testa.

    Tabela 1. Poreenje rezultata indeksnog testa i zlatnog standarda

    Dijagnostika tabela je tabela kontingencije dimenzija 2x2 u kojoj su ispitanici

    klasifikovani dvostruko:

  • Ispitanici su klasifikovani u dve kolone prema referentnom standardu: prva

    kolona u kojoj su ispitanici kod kojih je oboljenje zaista prisutno (D+) i druga

    kolonu u kojoj su ispitanici kod kojih oboljenje ne postoji (D-).

    Na osnovu rezultata indeksnog testa ispitanici su klasifikovani u dva reda: prvi

    red u kojem su ispitanici kod kojih je test pozitivan (T+) i drugi red u kojem su

    ispitanici kod kojih je test negativan (T-).

    Na taj nain u etiri elije ove tabele predstavljene su etiri mogue kombinacije. U

    prvom redu (T+), pozitivni rezultati testa mogu biti ili tano-pozitivni (TP) ili lano-

    pozitivni (LP) zavisno od toga da li bolest zaista postoji. U drugom redu (T-),

    negativni rezultati testa mogu biti lano-negativni (LN) ili tano-negativni (TN) u

    zavisnosti od prisustva ili odsustva bolesti.

    Zbir TP+LP je ukupan broj pacijenata koji imaju pozitivan test; zbir LN+TN je

    ukupan broj pacijenata koji imaju negativan rezultat ispitivanja, a N je veliina

    uzorka u dijagnostikoj studiji.

    Mere tanosti dijagnostikog testa su: senzitivnost, specifinost, sveukupna tanost

    i povrina ispod krive operativne karakteristike.

    Senzitivnost je sposobnost testa da identifikuje one koji stvarno imaju bolest. Na

    osnovu dijagnostike tabele izraunava se kao proporcija tano pozitivnih od

    ukupnog broja obolelih:

    Senzitivnost se takoe moe definisati kao (1) stopa tano pozitivnih, (2)

    verovatnoa pozitivnog rezultata testa kod onih koji imaju bolest, ili (3) proporcija

    obolelih koji su pozitivni na testu.

    Specifinost je sposobnost testa da prepozna stvarno zdrave tj. sposobnost testa

    da iskljui postojanje bolesti, odnosno da rezultat testa bude negativan kod zdravih.

    Izraunava se kao proporcija tano negativnih od ukupnog broja zdravih:

  • Specifinost se takoe moe definisati kao (1) stopa tano negativnih, (2)

    verovatnoa negativnog rezultata testa kod onih koji nemaju bolest, ili (3)

    proporcija zdravih koji su negativni na testu.

    Odnos verodostojnosti

    Odnos verodostojnosti (LR) je odnos verovatnoa odreenog rezultata testa (+ ili )

    ispitanika koji ima bolest podeljeno verovatnoom istog rezultata testa osobe koja

    nema bolest.

    Mogu se izraunati dve vrste odnosa verodostojnosti:

    1. Odnos verodostojnosti pozitivnog testa (LR+) je odnos senzitivnosti i stope

    lano pozitivnih (1specifinost):

    2. Odnos verodostojnosti negativnog testa (LR) je odnos stope lano

    negativnih (1 senzitivnost) i specifinosti:

    Odnos verodostojnosti pokazuje koliko mnogo rezultat testa menja pretest

    verovatnou bolesti, odnosno ansu bolesti. LR+ pokazuje koliko puta pozitivan

    rezultat testa poveava pretest ansu bolesti, a LR pokazuje koliko puta negativan

    rezultat testa smanjuje pretest ansu bolesti.

    Odnos verodostojnosti moe posluiti za izraunavanje posttest verovatnoe.

    Veliina promena od pretest verovatnoe do posttest verovatnoe u velikoj meri

    zavisi od vrednosti odnosa verodostojnosti. Poeljno je da LR+ ima to vee (vee

    od 10), a LR- to manje vrednosti (manje od 0.1).

    PRIMER:

    Opis podataka: Cilj istraivanja bio je ocena tanosti ultrazvunog pregleda u

    detekciji povreda medijalnog meniskusa. Artroskopski nalazi uzeti su kao referentni

    standard. Rezultati istraivanja prikazani su kao ultrazvuni nalaz stanja medijalnog

    meniskusa u odnosu na referentni standard.

  • Odrediti: senzitivnost, specifinost, odnos verodostojnosti pozitivnog testa i odnos

    verodostojnosti negativnog testa za UZ u detekciji povreda medijalnog meniskusa.

    .

    Procedura u EZR-u:

    1) Preuzeti i uitati bazu podataka Artroskopija i UZ.xlsx

    2) Prvo je potrebno dijagnostiku tabelu iz podataka to se postie klikom na liniji

    sa komandama: Statistical analysisDiscerete variablesCreate two-way

    table and compare two proportions (Fisher`s exact test)

    U dijalog prozoru koji se pojavio:

    o u okviru polja Row variable (pick one or more): odabrati indeksni test

    o u okviru polja Column variable (pick one): odabrati zlatni standard

    o odekirati sva ostala polja

    o kliknuti na dugme OK

  • U prozoru sa rezultatima pojavila se tabela kontingencije UZ nalaza i

    artroskopije.

    Ultrazvuni nalazom je dobijeno ukupno 76 pozitivnih nalaza: 75 tano

    pozitivnih i 1 lano pozitivan. Dobijeno je 12 negativnih nalaza: 11 tano

    negativnih i 1 lano negativan.

    3) Mere dijagnostike tanosti iz nominalnih podataka dobijaju se klikom na liniji sa

    komandama: Statistical analysisAccuracy of diagnostic testAccuracy of

    qualitative test

    U prozoru koji se pojavio, na osnovu tabele kontingencije, ukucati apsolutne

    uestalosti. Obratiti panju da se u polja ukucaju prave vrednosti, jer zavisno od

    kodiranja tabela kontingencije moe da bude drugaija od dijagnostike tabele.

    Gledati prave vrednosti za: TP, LP, LN I TN i uneti ih u odgovarajua polja.

  • U prozoru sa rezultatima pojavili su se rezultati primenjene statistike

    procedure.

    4) Zakljuak: Ocene tanosti ultrazvunog pregleda medijalnog meniskusa su:

    Sn = 0,987 = 99%

    Sp = 0,917 = 92%

    Vrednosti mera verodostojnosti pozitivnog i negativnog testa (LR + i LR )

    iznose:

    LR+ = 11,84

    LR- = 0,014

    .

    .

  • ROC KRIVA

    Dobar nain za prikaz odnosa senzitivnosti i specifinosti za testove koji su

    kontinuirani je kriva operativne karakteristike (ROC engl. Receiver Operating

    Caracteristic Curve ili Receiver Operating Curve).

    Na grafikom prikazu ROC krive senzitivnost je predstavljena vertikalnom osom, a

    stopa lano pozitivnih (1 specifinost) horizontalnom osom. Linija koja ide od

    donjeg levog ugla ka gornjem desnom uglu predstavljala bi test bez dijagnostike

    korisnosti. Ukoliko je linija blia levom gornjem uglu, test ima sve veu

    dijagnostiku tanost, jer je tada senzitivnost blia jedinici, a stopa lano pozitivnih

    sve blia nuli. Ako kriterijum na testu postaje stroiji, take na krivoj se pomeraju

    ka dole i ulevo (nia senzitivnost, vea specifinost). Ako kriterijum na testu postaje

    blai, take na krivoj se pomeraju gore i udesno (vea senzitivnost, nia

    specifinost).

    Povrina ispod ROC krive moe posluiti za poreenje dijagnostike korisnosti dva ili

    vie razliitih testova.

    .

  • PRIMER:

    Opis podataka: Cilj u istraivanju bio je ocena dijagnostike tanosti BNPa u

    otkrivanju srane insuficijencije. Istraivanje je sprovedeno na 170 pacijenata, a

    zlatni standard bio je opseno kliniko ispitivanje.

    Odrediti: senzitivnost, specifinost, optimalnu vrednost praga detekcije srane

    insuficijencije i povrinu ispod krive BNPa u otkrivanju srane insuficijencije.

    Povrina ispod ROC krive (engl. Area Under Curve, AUC) moe posluiti kao zbirna,

    sveukupna mera dijagnostike korisnosti testa uzimajui u obzir sve mogue

    vrednosti praga. Kada test nema dijagnostiku korisnost, ROC kriva se poklapa sa

    dijagonalnom linijom, a povrina ispod krive je jednaka 0.5. Sa porastom

    dijagnostike korisnosti, ROC kriva se udaljava od dijagonalne linije tj. raste i

    povrina ispod krive postaje blia jedinici odnosno maksimalnoj moguoj povrini

    ispod krive (Slika 6). to je vea povrina ispod ROC krive, test ima veu

    dijagnostiku korisnost.

    .

    Procedura u EZR-u:

    1) Preuzeti i uitati bazu podataka BNP.xlsx

    2) Mere dijagnostike tanosti iz kvantitativnih podataka dobijaju se klikom na liniji

    sa komandama: Statistical analysisAccuracy of diagnostic testROC curve

    analysis for quantitative test

  • U dijalog prozoru koji se pojavio:

    o u okviru polja Response (encoded as 0 or 1) (pick one) odabrati zlatni

    standard

    o u okviru polja Predictor (pick one) odabrati numeriku varijablu

    o kliknuti na dugme OK

    U posebnom prozoru pojavio se grafikon povrine ispod krive sa vrednou

    praga detekcije BNPa u otkrivanju srane insuficijencije dobijenog na osnovu

    optimalnog odnosa senzitivnosti i specifinosti.

  • U prozoru sa rezultatima moe se proitati vrednost povrine ispod krive BNPa

    otkrivanju srane insuficijencije.

    .

    3) Zakljuak:

    Ocene tanosti BNPa u otkrivanju srane insuficijencije iznose:

    Sn = 0,96 = 96%

    Sp = 0,63 = 63%

    Optimalna vrednost praga BNPa za detekciju srane insuficijencije iznosi 80,41

    pg/mol.

    Povrina ispod krive BNPa iznosi 0,86.

    EZR - Adekvatnost merenjaADEKVATNOST MERENJAPOUZDANOSTDIJAGNOSTIKA VALJANOST - DIJAGNOSTIKA TANOSTPRIMER: