kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •kod eksperimentalnih,...

68
Kako sprečiti greske u statističkoj analizi rezultata u naučnim istrazivanjima? prof. dr Slobodan M. Janković Univerzitet u Kragujevcu, Fakultet medicinskih nauka

Upload: others

Post on 04-Feb-2020

15 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Kako sprečiti greske u statističkoj analizi rezultata u naučnim

istrazivanjima?prof. dr Slobodan M. Janković

Univerzitet u Kragujevcu, Fakultet medicinskih nauka

Page 2: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Najčešće greške u statističkoj analizi rezultata i metode prevencijepredavanje

Page 3: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Posledice grešaka u statističkoj analizi

• Pogrešni zaključci

• Netačni rezultati

• Navođenje drugih istraživača na pogrešan dizajn svojih studija

• Značajan gubitak ljudskog rada i novca• Strasak AM, Zaman Q, Pfeiffer KP, Göbel G, Ulmer H. Statistical errors in medical

research-a review of common pitfalls. Swiss medical weekly. 2007 Jan 27;137(0304).

Page 4: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Statističke greške u oblasti DIZAJNA studije

• Nejasna definicija cilja i ishoda

• Nije navedena veličina uzorka

• Nisu navedeni pacijenti koji su napustili studiju, tj. koliko je njihov broj

• Nije izračunata potrebna veličina uzorka

• Nije jasno definisana nulta hipoteza

• Nije sprovedena randomizacija

• Nije jasno naveden METOD randomizacije

• Nije sprovedeno zaslepljivanje istraživača i pacijenata

• Nije navedeno da li su studijske grupe na početku studije bile slične

• Neodgovarajuća kontrolna grupa

• Neodgovarajuće testiranje razlika između studijskih grupa na početku studije• Strasak AM, Zaman Q, Pfeiffer KP, Göbel G, Ulmer H. Statistical errors in medical research-a review of common pitfalls.

Swiss medical weekly. 2007 Jan 27;137(0304).

Page 5: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u analizi – upotreba pogrešnog testa

• Test se ne može primeniti na podatke koji su prikupljeni

• Korišćenje testa za nezavisne grupe kada su one zavisne, i obrnuto

• Upotreba parametarskih testova kada ona nije moguća, tj. kada podaci nisu normalno distribuirani

• Upotreba neodgovarajućeg testa za hipotezu koja se ispituje

• Ne koriste se multivarijantne metode kako bi se korigovali rezultati za uticaj zbunjujućih varijabli

• Strasak AM, Zaman Q, Pfeiffer KP, Göbel G, Ulmer H. Statistical errors in medical research-a review of common pitfalls. Swiss medical weekly. 2007 Jan 27;137(0304).

Page 6: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u analizi – uvećanje greške prvog tipa

• Ne primenjuje se korekcija za mnogostruka poređenja

• Neodgovarajuća post-hoc analiza podgrupa

Page 7: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u analizi – Studentov T-test

• Nisu zadovoljeni uslovi za sprovođenje T-testa

• Nejednaka veličina uzoraka kod uparenog T-testa

• Neodgovarajuće mnogostruko upareno poređenje više od dve grupe

• Upotreba nezavisnog T-testa za uparene podatke i obrnuto

Page 8: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u analizi – neodgovarajuća upotreba Hi-kvadrat testa• Nije primenjena Yates-ova korekcija kontinuiteta kada su grupe male

• Upotreba Hi-kvadrat testa kada je očekivani broj u ćeliji <5

• Nije jasno izrečena nulta hpoteza koja se testira.

Page 9: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u analizi

• Podela kontinualnih podataka u ordinarne kategorije bez objašnjenja zašto i kako

• Upotreba linearne regresije, a da prethodno nije provereno da li je veza između nezavisne i zavisne promenljive linearna (pravi se grafikostataka stvarnih i procenjenih vrednosti zavisne varijable iz same regresije – dobija se ravna linija ako postoji linearnost

Page 10: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u opisu onoga što je urađeno

• Nisu jasno i tačno navedeni svi testovi koji su korišćeni

• Nije navedeno da li je korišćeni test jednostran ili dvostran

• Nije navedeno da li je test uparen ili ne

• Navedeno pogrešno ime za korišćeni statistički test

• Navode se neobične ili sporne statističke metode bez odgovarajućeg objašnjenja ili reference

• Ne navodi se koji test je korišćen na konkretnoj grupi podataka u situaciji kada je korišćeno više testova, već se koristi fraza “Gde je bilo odgovarajuće”

Page 11: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u prikazu rezultata – neodgovarajući grafički prikaz ili opis rezultata• Navedena srednja vrednost, ali ne i varijabilnost

• Prikazuje se SE (standardna greška) umesto SD (standardne devijacije)za opis rezultata

• Korišćenje srednje vrednosti i standardne devijacije da se opišu podaci koji nisu normalno distribuirani

• Nije definisano šta znači „±“ kada je u pitanju varijabilnost podataka ili korišćenje neobeleženih „error bar“-ova na grafiku

Page 12: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Greške u prikazu rezultata – nedovoljan opis

• Prikazane su samo p-vrednosti, bez intervala poverenja

• Intervali poverenja prikazani za svaku grupu posebno, umesto za razliku između grupa

• Prikazivanje srednjih vrednosti varijable u svakoj od uparenih grupa, umesto da se prikaže srednja vrednost razlike između parova

• Navođenje “p = nije značajno”, “p <0.05” ili manje od neke druge arbitrarne granice, umesto da se navedu tačne p vrednosti

• Numerički podatak dat sa besmislenom preciznošću (npr. srednji krvi pritisak jednako 99.347 mmHg)

• Lang, Tom. "Twenty statistical errors even you can find in biomedical research articles." (2004): 361-370.

Page 13: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Pogrešna interpretacija rezultata

• “Nije značajno” se interpretira kao “nema efekta” ili “nema razlike”, a ustvari se ti ništa ne može zaključiti, jer rezultat može biti da nije značajan zbog malog uzorka

• Izvođenje zaključaka koji ne slede iz podataka dobijenih u studiji

• Zaključuje se da postoji značajnost rezultata, a da nije navedeno kako su analizirani podaci i koji statistički test je bio korišćen

• Mešanje pojmova „statistički značajna razlika“ i „klinički značajna razlika“.

Page 14: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Metode prevencije statističkih grešaka

• Učiti statistiku

• Poznavati najčešće greške

• Konsultovati eksperta za statistiku u fazi dizajna studije, ne na kraju, kada su rezultati već prikupljeni

• Detaljnije i rigoroznije recenziranje statistike u časopisima –angažovati eksperte za procenu statističkog dela

• Ne potcenjivati značaj statističke obrade rezultata

Page 15: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Pravilan izbor statističkog testa za podatke prikupljene instraživanjempredavanje

Page 16: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Koraci u izboru odgovarajućeg statističkog testa• 1. Utvrditi šta je nezavisna (uzrok), a šta zavisna varijabla (ishod)• 2. Definisati da li su varijable kontinualne (numeričke) ili kategorijske

• Kontinualna (numerička) varijabla (može uzeti bilo koju numeričku vrednost u određenom opsegu)

• Kategorijska varijabla (ako ima numeričkih vrednosti varijable, one mogu biti samo određene, tako da se jedinice posmatranja svrstavaju u kategorije koje se međusobno NE PREKLAPAJU)

• Kategorijske varijable imaju 2 nivoa merenja:• Nominalno (npr. muški/ženski pol)• Ordinalno (kategorije su poređene po nekom redosledu, npr. osnovno, srednje i visoko

obrazovanje)

• Kontinualne varijable takođe imaju dva nivoa merenja:• Intervalno (jednaki intervali na nekoj skali, samo u određenom opsegu, ne postoji nula ni

teoretski, npr. telesna temperatura)• U vidu odnosa (engl. „ratio“) – jednaki intervali na nekoj skali, teoretski može postojati nula a

odnos između vrednosti može imati smisla, npr. serumski nivo CRP-a

Bettany‐Saltikov J, Whittaker VJ. Selecting the most appropriate inferential statistical test for your quantitative research study. Journal of Clinical Nursing. 2014 Jun;23(11-12):1520-31.

Page 17: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Koraci u izboru odgovarajućeg statističkog testa• 3. izabrati između parametarskih i neparametarskih statističkih

testova• Parametarski testovi su mnogo senzitivniji, ali da bi se mogli koristiti, treba da

budu ispunjene 4 pretpostavke:• Podaci moraju biti kontinualni (numerički)

• Jedinice posmatranja moraju biti izabrane slučajno iz populacije kojoj pripadaju (ponekada se može izostaviti)

• Podaci moraju biti normalno distribuirani (proverava se Kolmogorov–Smirnov testom, koji ispituje da li se aktuelna distribucija značajno razlikuje od normalne)

• Varijabilnost podataka u grupama koje se porede treba da bude slična, tj. treba da postoji homogenost varijansi ili homoscedastičnost (proverava se Levene-ovim testom, koji ispituje da li su razlike u varijansama posledica slučajnosti, što će biti ako vrednost Levene-ovog testa odgovara verovatnoći nulte hipoteze većoj od 0.05)

Page 18: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Koraci u izboru odgovarajućeg statističkog testa• 4. odrediti prema kojoj varijabli se formiraju grupe u studiji

• Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe

• Kod studija slučaj/kontrola nivoi zavisne varijable određuju grupe

• 5. odrediti da grupe sadrže različite (nezavisne) jedinice posmatranja tj. pacijente, pa se smatraju nezavisnim grupama ili se merenja vrše na istim jedinicama posmatranja u više navrata, pa su grupe zavisne

• 6. Koliko grupa se formira na osnovu mogućih vrednosti varijable: dve, više ili nije moguće svrstati jedinice posmatranja u grupe?

Page 19: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Testiranje razlike između dve grupe, kontinuirana ili ordinarna varijabla.

Vrsta testa

Studentov T-test za nezavisne grupe

Studentov T-test za zavisne grupe (uparene uzorke)

Mann-Whitney U test Wilcoxon signed rank test

Nezavisne ili zavisne grupe?

Nezavisne grupeZavisne grupe (ponovljena

merenja)Nezavisne grupe

Zavisne grupe (ponovljena merenja)

Da li su ispunjeni uslovi za parametarske testove kod kontinualne varijable?

Kontinualna varijabla, ispunjeni uslovi za parametarske testove

Kontinualna varijabla, nisu ispunjeni uslovi za parametarske testove ili ordinarna varijabla sa bar 7 kategorija

Page 20: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Testiranje razlike između tri ili više grupa, kontinuirana ili ordinarna varijabla.

Vrsta testa

ANOVA za nezavisne grupeANOVA za ponovljena

merenjaKruskall-Wallis Friedman’s test

Nezavisne ili zavisne grupe?

Nezavisne grupeZavisne grupe (ponovljena

merenja)Nezavisne grupe

Zavisne grupe (ponovljena merenja)

Da li su ispunjeni uslovi za parametarske testove kod kontinualne varijable?

Kontinualna varijabla, ispunjeni uslovi za parametarske testove

Kontinualna varijabla, nisu ispunjeni uslovi za parametarske testove ili ordinarna varijabla sa bar 7 kategorija

Page 21: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Testiranje razlika između dve ili više grupa, kategorijska varijabla ili ordinarna varijabla sa manje od 7 kategorija

Dve ili više grupa?

Dve grupe

U svim ćelijama ima 5 ili više jedinica posmatranja

Hi-kvadrat test

U bar jednoj od ćelija ima 0 jedinica

posmatranja ili je zbir u dve ćelije manji od 5

Fišerov test

Tri ili više grupa

Ishod je binaran (da/ne)

Kohranov Q test

Ishod je ordinaran ili ima više kategorija

Hi-kvadrat test

Page 22: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Izbor testa kada postoje DVE NEZAVISNE varijable, a zavisna je normalno distribuirana

Obe nezavisne varijable omogućavaju nezavisno

merenje zavisne varijable

• Dvofaktorska analiza varijanse sa nezavisnim merenjima

Jedna nezavisna varijabla omogućava ponovljeno

merenje zavisne varijable, a druga nezavisno merenje

• Dvofaktorska analiza varijanse sa mešovitim merenjima

Obe nezavisne varijable omogućavaju ponovljeno merenje zavisne varijable

• Dvofaktorska analiza varijanse sa ponovljenim merenjima

Page 23: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Testovi za ispitivanje veze između zavisne i nezavisne varijable

Obe varijable su kontinualne i

normalno dostribuirane:

Pirsonova korelacija

Jedna od varijabli nije normalno

distribuirana ili je ordinarna, ili su obe

ordinarne:

Spirmanovakorelacija

Jedna varijabla je kontinualna, a

druga kategorijska, i to binarna:

Point Bi (serial) korelacija

Obe varijable su nominalne:

Kramerov V test

Page 24: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Kako pravilno opisati korišćene statističke metode?predavanje

Page 25: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Ciljevi opisa korišćenih statističkih metoda i rezultata• Prikazati sve relevantne detalje kako bi se omogućilo čitaocu da

proceni da li je statistika adekvatno urađena, ukoliko bi imao pristup originalnim podacima

• prikazati dovoljno detalja kako bi se rezultati mogli uključiti u neke druge analize u budućnosti

• Lang T, Altman D. Basic statistical reporting for articles published in clinical medical journals: the SAMPL Guidelines. In: Smart P, Maisonneuve H, Polderman A (eds). Science Editors' Handbook, European Association of Science Editors, 2013.

Page 26: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Preliminarne analize

• Opisati sve matematičke metode koje su korišćene za transformaciju rezultata radi postizanja normalnosti raspodele

Page 27: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Primarna analiza

• Opisati svrhu analize

• Navesti sve varijable i opisati ih deskriptivnom statistikom

• Navesti najmanju razliku za koju se smatra da je KLINIČKI ZNAČAJNA, ako je to moguće

• Navesti precizno koji metod je korišćen za analizu koje varijable

• Prikazati da li su podaci normalno distribuirani, da li su merenja ponovljena ili ne, da li postoji linearna veza pre upotrebe linearne regresije

• Prikazati da li je rađeno prilagođavanje p-vrednosti kod multiplih poređenja na istim podacima

• Navesti da li su korišćeni jednostrani ili dvostrani testovi

• Navesti šta je rađeno sa ekstremnim vrednostima („outlier“-i)

• Navesti graničnu verovatnoću nulte hipoteze (alfa)

• Navesti koji softver je korišćen

Page 28: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazivanje brojeva i deskriptivne statistike

• Zaokružite brojeve do smislenih decimala

• Uvek navoditi broj jedinica posmatranja (veličinu ukupnog uzorka i veličinu grupa)

• Za sve procente navesti brojilac i imenilac od kojih su dobijeni

• Normalno distribuirane podatke opisati sa srednjom vrednošću i SD, a ostale sa medijanom i interkvartilnim opsegom (dati i gornju, i donju vrednost)

• Ne koristiti SE za prikaz varijabilnosti podataka, već SD ili opseg

• Prikažite podatke u tabelama i slikama – tabele sadrže precizne podatke

Page 29: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazivanje rizika, učestalosti i odnosa

• Navesti precizno o kojoj vrsti rizika, učestalosti ili odnosa se radi• Rizik – da li je apsolutini ili relativni

• Odnos – da li je odnos šansi (engl. “odds ratio”) ili odnos hazarda (engl. “hazard ratio”)

• Učestalost – da li je incidencija, prevalencija ili učestalost preživljavanja

• Jasno navesti brojeve koji se nalaze u brojiocu i imeniocu

• Jasno navesti vreme na koje se odnosi učestalost

• Navesti na koji broj pacijenata se odnosi navedena brojka učestalosti

• Kad god je moguće, uz procene rizika, učestalosti ili odnosa navesti i granice poverenja

Page 30: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazivanje rezultata testiranja hipoteze - 1

• Navesti samu hipotezu koja se testira

• Varijable koje se analiziraju opisati deskriptivnom statistikom

• Ako je moguće, navesti minimalnu razliku koja ima KLINIČKI značaj

• U slučaju studija ekvivalencije, navesti maksimalnu razliku koja još uvek ne znači da su dva tretmana različite efikasnosti ili bezbednosti

• Navesti tačan naziv testa koji je korišćen, da li je dvostran ili jednostran i da li su grupe nezavisne ili uparene

• Potvrdite da su pretpostavke za primenu testa bile zadovoljene

• Navesti nivo verovatnoće nulte hipoteze (alfa) koji je granica ispod koje postoji značajna razlika

Page 31: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazivanje rezultata testiranja hipoteze - 2

• Bar za primarne ishode studije navesti osim procene i meru preciznosti, npr. 95%-tni interval poverenja

• Ne koristiti SE kao meru preciznosti, već granice poverenja

• P-vrednosti prikazivati precizno, a ne kao “< 0.05” ili slično

• Navesti da li su prilagođavane p-vrednosti u slučaju multiplih poređenja, i kako je to učinjeno

• Navesti tačan naziv korišćenog statističkog softvera

Page 32: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz analiza koje ispituju udruženost varijabli (engl. “association analysis”)• Navesti koja udruženost se ispituje

• Opisati sve relevantne varijable deskriptivnom statistikom

• Navesti koji test udruženosti se koristi, i da li je jednostran ili dvostran

• Za test udruženosti (npr. Hi-kvadrat) navesti tačnu p-vrednost

• Za meru udruženosti (npr. Phi-koeficijent) navesti tačnu vrednost i interval poverenja

Page 33: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz analize korelacije

• Navesti cilj analize i opisati sve relevantne varijable deskriptivnom statistikom

• Navesti nivo verovatnoće nulte hipoteze (alfa) koji je granica ispod koje postoji značajna korelacija

• Navesti tačnu vrednost koeficijenta korelacije sa granicama poverenja, i o kom koeficijentu se radi (Pirsonov ili Spirmanov)

• Potvrditi da su pretpostavke za primenu testa korelacije zadovoljene

• Grafički prikazati korelaciju kao “scatterplot”, i navesti vrednost koeficijenta, p-vrednost i veličinu uzorka

Page 34: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz rezultata regresione analize - 1

• Navesti cilj analize i opisati sve relevantne varijable deskriptivnom statistikom

• Navesti da li su zadovoljene pretpostavke, pre svega pitanje linearnosti

• Navesti kako su tretirani nedostajući podaci i ekstremne vrednosti (“outliers”)

• Prikazati regresionu jednačinu

• Kod multiple regresije navesti:• Alfa vrednost korišćenu za univarijantnu analizu• Rezultate ispitivanja kolinearnosti i interakcije varijabli• Opis metode selekcije varijabli

Page 35: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz rezultata regresione analize - 2

• Navesti regresione koeficijente svake eksplanatorne varijable, sa granicama poverenja i p-vrednostima, najbolje u tabeli

• Navesti koeficijent determinacije kao meru kvaliteta modela

• Navesti da li je, i kako model validiran

Page 36: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazati rezultate analize varijanse i analize kovarijanse• Navesti cilj analize i opisati sve relevantne varijable deskriptivnom

statistikom

• Navesti da li su zadovoljene pretpostavke, npr. pitanje linearnosti

• Navesti kako su tretirani nedostajući podaci i ekstremne vrednosti (“outliers”)

• Navesti da li je ispitana inetrakcija eksplanatornih varijabli

• Za svaku eksplanatornu varijablu navesti tačnu p-vrednost, vrednost statističkog testa i broj stepeni slobode

• Navesti procenu kvaliteta modela, npr. sa R2

• Navesti da li je model validiran, i ako jeste, kako

Page 37: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz analize preživljavanja (vreme-do-događaja) - 1• Opisati cilj analize

• Definisati događaje ili datume koji iznačavaju početak i kraj vremenskog perioda koji se posmatra

• Definisati okolnosti pod kojima se jedinica posmatranja cenzuriše

• Definisati kako se računa učestalost preživljavanja

• Navesti da li su zadovoljene pretpostavke za sprovođenje analize preživljavanja

• Za svaku grupu, navesti procenu verovatnoće preživljavanja posle određenog vremena praćenja, sa intervalima poverenja, i brojem pacijenata koji su pod rizikom od smrtnog ishoda u svakom od momenata kada se sprovodi praćenje

Page 38: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikaz analize preživljavanja (vreme-do-događaja) - 2• Prikazati medijanu preživljavanja, sa intervalima poverenja

• Prikazati Kaplan-Mejerovu krivu preživljavanja sa tabelom ispod

• Ako se porede dve ili više krivih, navesti kojim testom i tačne p-vrednosti

• Navesti procenu rizika, tj. Odnos hazarda (engl. “Hazard ratio”) za svaku eksplanatornu varijablu, sa intervalom poverenja

• Opisati regresioni model koji procenjuje udruženost eksplanatornih varijabli sa vremenom preživljavanja ili vremenom-do-događaja

Page 39: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Prikazati rezultate Bajezijanske analize

• Navesti prethodne verovatnoće

• Opisati kako su izabrane prethodne verovatnoće

• Opisati statistički model koji je korišćen

• Sumirati krajnju distribuciju verovatnoće dajući meru centralne tendencije i interval kredibiliteta

• Navesti softver koji je korišćen

• Navesti da li je sprovedena analiza senzitivnosti za različite prethodne verovatnoće i koji su rezultati

Page 40: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Kako ne pogrešiti u tabelarnom i grafičkom prikazu rezultata?predavanje

Page 41: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Principi izrade slika, grafika i tabela

• Obavezno najaviti sliku, grafik ili tabelu jednom rečenicom u tekstu, i možda navesti neki najznačajniji podatak koji će se videti na samoj slici, grafiku ili tabeli

• Tabela mora da ima naziv, a slika i grafik legendu

• Izbegavati relativne zamenice, i koristiti umesto njih participe:• UMESTO „Number of patients that take propranolol“ TREBA NAPISATI „Number of

patients taking propranolol“

• U nazivima tabela i legendama slika i grafika ne određivati kakav je efekat, već samo da se efekat prikazuje:

• UMESTO „Stronger effect of propranolol on blood pressure in elderly patients“ TREBA NAPISATI „The effects of propranolol on blood pressure according to age“

Turabian KL. A manual for writers of research papers, theses and dissertations. 8th edition, The University of

Chicago Press, Chicago, USA, 2013.

Page 42: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

SLIKE

• Sve treba da čitaocu bude jasno sa slike i iz legende

• Legenda ne treba da bude duža od 250 reči

• Obavezno navesti broj ispitanika na kojima je zasnovan rezultat („n“)

• Grafike prikazivati crno-belo, a ako se mora u boji, izbegavati crvenu i zelenu boju jednu pored drugih, jer oko 10% muškaraca te boje ne razlikuje

• Slika ne treba da bude pretrpana

• Svaki simbol treba da bude objašnjen

Page 43: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

GRAFICI

• Kada želimo da uporedimo neke podatke po grupama, najbolje je to prikazati stubičastim dijagramom

• Kada želimo da pokažemo trend, izabrati linijski dijagram

• Ako se na dijagramu trenda vide neke tačke gde je došlo do promena, u grafik treba ubaciti tekst koji objašnjava uzrok nastanka promene trenda

• Nikada ne koristiti trodimenzionalne grafike

Page 44: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

GRAFICI

• Ne koristiti stubiće ili prečke („bars“) u obliku neke slike

• Obavezno dajte nazive X i Y osi

• Unesite oznake vrednosti na osama, obavezno na Y-osi („tickmarks“)

• Grafike unositi u word fajl kao „slike“

• Legendu staviti dva reda ispod tabele; početi sa brojem slike i nazivom

• Ostaviti po jedan red prazan pre slike i posle Legende slike

Turabian KL. A manual for writers of research papers, theses and dissertations. 8th edition, The University of

Chicago Press, Chicago, USA, 2013.

Page 45: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Grupisani grafik sa stubićima:

prikazuje delove (potrošnja

pojedinih antibiotika) više celina

(potrošnja svih antibiotika po

odeljenjima).

Page 46: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Stubičasti dijagram u vidu „dimnjaka“

(engl. „stacked“) je manje zgodan za

prikazivanje delova više celina od

„grupisanog“ stubičastog dijagrama. Da

bi bio što jasniji, treba povezati linijama

isti deo u svim stubićima i uneti aktuelne

vrednosti svih delova (serija), kao što je

prikazano levo. Ovde prikazani grafik

sadrži apsolutne vrednosti.

Page 47: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Stubičasti dijagram u vidu „dimnjaka“

(engl. „stacked“), ali ovde su umesto

apsolutnih brojeva navedeni procenti koje

čini potrošnja svakog antibiotika u odnosu

na ukupnu potrošnju karbapenema na

odeljenju.

Page 48: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Pravila za linijske dijagrame• Najviše prikazati 6 linija na jednom

grafiku

• Ako svaka linija ima manje od 10 tačaka, onda tačke treba obeležiti simbolima, kao što je to slučaj na grafiku desno; ako ima 10 i više tačaka, ne oveležavati ih simbolima

• Linije razlikovati po tome da li su pune ili isprekidane i po vrstama isprekidanosti; ne oslanjati se na različite boje ili nijanse sivog, slabo će se videti razlike.

Turabian KL. A manual for writers of research papers, theses and dissertations. 8th edition, The University of

Chicago Press, Chicago, USA, 2013.

Page 49: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Četiri pravila protiv „štimovanja“ grafika radi prikrivanja pravih rezultata• Ne manipulišite skalom na Y-osi kako bi se uvećao ili smanjio kontrast

između grupa (uvek prikazati celu skalu, od nule pa do maksimalnih vrednosti)

• Ne pravite tabelu ili grafik previše složeno ili previše jednostavno

• Ne koristite tipove grafika koji iskrivljuju vrednosti

• Ako tabela ili grafik ukazuju jasno na neku pojavu, naglasite to u tekstu.

Page 50: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tehnički saveti za grafike

• Elemente iste vrste, npr. ose, linije, tačke prikazivati na isti način

• Koristiti arapske brojeve za sve numeričke podatke

• Nazive osa početi velikim prvim slovom, npr.: „Procenat maksimalnog odgovora“

• Ako linije i pojedinačne podatke na grafiku označavamo jednom rečju, ona treba da počne malim slovom, a ako označavamo frazom, ona treba da počne velikim slovom

• Slike treba da imaju brojeve, kako se redom pojavljuju, i legende

• Legendu staviti iznad slike, i početi je „Slika 1. Trend potrošnje lekova...“ („Figure 1. Trend of drug utilization...“)

• legendu treba centrirati levo, i koristiti jednostruki prored

Page 51: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tabele

• Koristiti ih ako treba saopštiti dosta podataka; ako je u pitanju samo nekoliko brojeva, bolje ih je reći u tekstu rada, bez tabele.

• Tabele koristimo kada želimo da saopštimo određene vrednosti; ako želimo da uporedimo neke podatke ili ukažemo na trend, koristimo grafike.

• Treba da budu jasne same po sebi

• Treba da budu razumljive na prvi pogled

• Kod tabela koje zauzimaju više stranica, ponavljati nazive kolona na svakoj novoj stranici

• Ako je tabela izuzetno velika, bolje ju je pretvoriti u dodatni fajl („supplementary file“) ili apendiks radu, nego je po svaku cenu „gurati“ u sam rad

Page 52: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tabele

• Nikada ne koristiti tabele koje imaju i horizontalne i vertikalne linije

• Ako tabela ima mnogo redova, blago zasenčiti svaki peti red

• Ne koristiti font manji od 9

• Obavezno dajte nazive kolonama i redovima

• Sumirajte dole i desno vrednosti iz kolona tj. redova, ako je to moguće

• Zaokružite brojke do relevantnih vrednosti

• Broj tabele i naziv uneti na liniji iznad same tabele

• Fusnotu za tabelu staviti ispod tabele, posle jednog praznog reda

• Ostaviti bar po jedan prezan red između teksta i naziva tabele, i fusnote tabele i teksta

Page 53: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Položaj tabela i slika u tekstu

• Kad god se može, staviti sliku ili tabelu odmah posle paragrafa u kome se pominju po prvi put

• Suviše velike tabele je bolje staviti u apendiks rada nego u sam tekst

• Kad god se može,tabela treba da zauzme najviše jednu stranicu u „portret“ formatu

• Kod velikih tabela koje ne mogu da stanu na jednu stranicu u „portret“ formatu pokušati da se smesti u „landscape“ formatu

Turabian KL. A manual for writers of research papers, theses and dissertations. 8th edition, The University of

Chicago Press, Chicago, USA, 2013.

Page 54: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Izvor tabele ili slike

• u fusnoti tabele ili u legendi slike obavezno treba navesti izvornu referencu, ukoliko tabela ili slika ne prikazuju naše podatke, već podatke preuzete iz drugih publikacija

• Napisati prvo Izvor: (engl. Source:), a onda referencu

Page 55: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tehnički saveti za tabele

• Koristiti arapske brojke u tabelama

• Brojeve u kolonama podesiti tako da je decimalni zarez broja ispod na istoj poziciji kao decimalni zarez broja iznad

• Koristiti skraćenice, ali ih obavezno objasniti u fusnoti

• Zavisne varijable staviti kao nazive stubića (kolumni) tabele

• Nezavisne i zbunjujuće varijable staviti kao nazive redova (u prvom stubiću)

• Svaka tabela treba da ima broj i naziv. Npr. Tabela 1. Prikaz potrošnje antibiotika.

• Tabele se ređaju po brojevima koji su nezavisni od brojeva slika

Page 56: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tehnički saveti za tabele - nastavak

• Ne unositi senčenje ili boje u tabele

• U nazivima stubića koristiti imenice, kad god je moguće

• Nazivi stubića treba da budu kratki

• Naziv stubića treba da počne velikim slovom

• Nazive redova u ćelijama tabele centrirati levo

• Nazive stubića centrirati po sredini ćelija

• Kad god je moguće uneti naziv prvog stubića, u kome se nalaze nazivi redova

• Nazivi redova treba da počinju velikim slovom i da sadrže imenice, kad god je moguće

Page 57: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Tehnički saveti za tabele - nastavak

• Ako naziv reda ide u više linija, a podatak u ćeliji tabele samo u jednoj liniji, onda podatak treba da bude u istom nivou sa poslednjom linijom naziva reda, npr.:

• Ako i naziv reda i podaci u ćelijama idu u više linija, onda prvu liniju naziva reda i prvu liniju podatka staviti u isti nivo, npr.:

Dnevna

potrošnja

antibiotika

bolnici 120 DDD 60 DDD

Dnevna

potrošnja

antibiotika

bolnici

Od 100 DDD

do 200 DDD

Od 60 DDD do

80 DDD

Page 58: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Fusnote za tabele

• Fusnote se pišu ispod tabele, posle jednog razmaka u odnosu na dno tabele

• Fusnote treba centrirati levo

• Podtoje 4 vrste fusnota:• Navođenje izvora iz koga su preuzeti podaci za tabelu

• Opšte primedbe koje se odnose na celu tabelu – počinju rečju „Primedba:“ (engl. „Note:“)

• Primedbe koje se odnose samo na neke delove tabele – označiti ih malim slovima u superskriptu

• Nivo statističke značajnosti – označiti ih sa zvezdicom ili dve, npr.: „*p < .05“ ili „**p < .01“

Page 59: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Analiza statističkih grešaka u objavljenim radovima: analiza slučajevavežba

Page 60: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Analiza rada:Wen N, Guo B, Zheng H, Xu L, Liang H, Wang Q, Wang D, Chen X, Zhang S, Li Y, Zhang L. Bromodomain inhibitor jq1 induces cell cycle arrest and apoptosis of glioma stem cells through the VEGF/PI3K/AKT signaling pathway. International journal of oncology. 2019 Oct 1;55(4):879-95.

Page 61: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija
Page 62: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Nije pokazano da su podaci normalnodistribuitani, dakle treba prikazati imedijanu i interkvartilni opseg.

Primena parametarskog testa bez prethodne provere normalnosti distribucije podataka.

Page 63: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Varijabilnost rezultata se ne prikazuje saSE već sa SD ili intervalom poverenja

Pseudoreplikacija

Nedostaje tačna vrednost verovatnoće nulte hipoteze

Nedostaje broj jednica posmatranja (n)

Page 64: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Nije navedena vrednost testova (u ovom slučaju ANOVA-e) niti kvalitet statističkog modela.

Nije jasno na šta se odnosi značajna razlilka – u odnosu na kontrolu, ili između grupa.

Snaga studije je oko 75%, što znači da je verovatnoća lažno negativnog rezultata veće od maksimalno prihvatljive vrednsoti

Page 65: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Analiza rada:Wang L, Zhou Y, Qin Y, Wang Y, Liu B, Fang R, Bai M. Methylophiopogonanone B of Radix Ophiopogonis protects cells from H2O2-induced apoptosis through the NADPH oxidase pathway in HUVECs. Molecular medicine reports. 2019 Oct 1;20(4):3691-700.

Page 66: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija
Page 67: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Nije pokazano da su podaci normalnodistribuirani, dakle treba prikazati imedijanu i interkvartilni opseg.

Primena parametarskog testa bez prethodne provere normalnosti distribucije podataka.

Varijabilnost rezultata se ne prikazuje saSE već sa SD ili intervalom poverenja

Page 68: Kako sprečiti greske u statističkoj analizi rezultata u naučnim ... · •Kod eksperimentalnih, kohortnih i studija preseka nivoi nezavisne varijable određuju grupe •Kod studija

Nedostaje tačna vrednost verovatnoće nulte hipoteze

Nije navedena vrednost testova (u ovom slučaju ANOVA-e) niti kvalitet statističkog modela.

Snaga studije je oko 11%, što znači da je verovatnoća lažno negativnog rezultata čak 89%!