stat

SVEU ČILI ŠTE U ZAGREBU

PMF - MATEMATI ČKI ODJEL

Andrea Bosak

NEPARAMETRIJSKI KRUSKAL-WALLISOV TEST ZA

NEZAVISNE UZORKE

Diplomski rad

Voditelj rada: izv. prof. dr. sc. Anamarija Jazbec

Zagreb, srpanj, 2010

Ovaj diplomski rad obranjen je dana pred ispitnim povjerenstvomu sastavu:

1. , predsjednik

2. , član

3. , član

Povjerenstvo je rad ocijenilo ocjenom .

Potpisi članova povjerenstva:

1.

2.

3.

Zahvaljujem svojoj mentorici Anamariji Jazbec na strpljenju, pomoći i vodstvu pri izradi

ovog diplomskog rada.

Sadržaj

Sadržaj iv

Uvod 2

1 Kruskal-Wallis test 31.1 Podaci................................................................................... 31.2 Pretpostavke i hipoteze........................................................... 41.3 Testna statistika..................................................................... 41.4 Distribucija testne statistike..................................................... 51.5 Višestruko usporedivanje........................................................ 7

2 Primjer 1 82.1 Primjer intervalne skale........................................................... 82.2 Primjer intervalne skale koristeći SAS . . . . . . . . . . . . . . . . . . .152.3 Primjer intervalne skale koristeći Statisticu . . . . . . . . . . . . . . . . .192.4 Zaključak............................................................................... 21

3 Primjer 2 223.1 Primjer ordinalne skale............................................................ 223.2 Primjer ordinalne skale koristeći SAS . . . . . . . . . . . . . . . . . . .253.3 Primjer ordinalne skale koristeći Statisticu . . . . . . . . . . . . . . . . .283.4 Zaključak............................................................................... 29

4 Prilozi 30

Bibliografija 33

iv

Uvod

Uobičajen problem u primijenjenoj statistici je odlučiti dolazi li nekoliko uzoraka iz iste populacije. Gotovo uvijek se uzorci razlikuju, pa je pitanje ukazuju li te razlike na razlike medu populacijama, ili su samo uzrok varijacije koja se može očekivati medu slučajnim uzorcima iz iste populacije. Kada se ovaj problem često javlja možemo pretpostaviti da su populacije u približno istom obliku, u smislu da ako se razlikuju to je zbog pomaka ili translacije. [5]

Česta tehnika za rješavanje takvog problema je jednofaktorska analiza varijance. Ona testira jednakost očekivanja tri ili više nezavisnih uzoraka. Ako sljedeće pretpostavke nisu zadovoljene

1. homogenost varijance,

2. uzorci su iz normalno distribuirane populacije,

i ne možemo ih zadovoljiti nekom transformacijom podataka, tada ne možemo koristiti ANOVA-u, te moramo uzeti neki neparametrijski test kao što je na primjer Kruskal-Wallis.

Test su zajedno otkrili William Henry Kruskal (1919-2005) i Wilson Allen Wallis (1912-1998), a koristi se za utvrdivanje jesu li tri ili više nezavisnih slučajnih uzoraka iz iste populacije. Podaci mogu biti prikazani u intervalnoj te ordinalnoj skali. Glavna ideja testa je rangiranje podataka.

Prednosti rangiranja su:

- računanje je pojednostavljeno,

- postoje općenite pretpostavke o vrsti distribucije iz koje dolaze opservacije (u našem slučaju nema pretpostavke da podaci dolaze iz normalne razdiobe),

- može se koristiti ukoliko su podaci samo u ordinalnoj skali,

- koristi se ako nisu zadovoljene pretpostavke parametrijskog testa.

Nedostatak rangiranja je gubitak informacije zbog zamjene originalnih podataka rango-vima, pa su ti testovi slabiji od parametrijskih testova. Dakle, ako podaci zadovoljavaju

SADR ŽAJ 2

pretpostavke testa analize varijance, tada je bolje koristiti njega. Inače koristimo KruskalWallisov test. [3]

U Poglavlju 1 objasnit ću teorijski dio testa. Definirat ću pretpostavke koje podaci moraju zadovoljavati, hipotezu koja se testira te testnu statistiku i njenu distribuciju. Na kraju ću ukratko objasniti teorijski dio testa za višestruko post hoc usporedivanje.

U Poglavlju 2 ću demonstrirati na primjeru kako za intervalne podatke odlučiti koji test koristiti, neparametrijski Kruskal-Wallis ili parametrijski test za analizu varijance (ANOVA), te objasniti kako koristiti Kruskal-Wallisov test i kako interpretirati rezultate. Zatim ću pokazati kako se provodi test za višestruko post hoc usporedivanje.

U Poglavlju 3 ću demonstrirati na primjeru kako za ordinalne podatke koristiti Kruskal-Wallisov test, višestruko post hoc usporedivanje te kako interpretirati rezultate. Ovdje ću takoder objasniti u kojim slučajevima ne možemo koristiti aproksimaciju za Kruskal-Wallis testnu statistiku.

Za demonstraciju ću u oba primjera koristiti programske pakete SAS [1] i Statistica [2].

k

Poglavlje 1

Kruskal-Wallis test

U ovom poglavlju će se definirati pretpostavke koje podaci moraju zadovoljavati da se može koristiti Kruskal-Wallisov test. Pokazat će se kako izgleda testna statistika i kako je distribuirana. Na kraju će se objasniti test za post hoc višestruko usporedivanje.

1.1 Podaci

Podaci se sastoje od k slučajnih uzoraka ne nužno istih veličina. Neka Xi ,...,Xinoznačava1 i

i-ti uzorak veličine ni.Podaci mogu biti rasporedeni u kolone (ne nužno jednakih duljina)

uzorak 1 uzorak 2 ··· uzorak k

X1,1 X2,1 Xk,1

X1,2 X2,2 Xk,2

··· ··· ···

X1,n X2,n Xk,n1 2 k

Neka je N ukupan broj opservacija:

∑ N = ni. (1.1)

i=1

Rang 1 je pridružen najmanjoj od svih N opservacija, rang 2 sljedećoj najmanjoj, i tako dalje sve do zadnje opservacije kojoj je pridružen rang N. Ako ima nekoliko jednakih opservacija, tada se izračuna prosjek njihovih rangova i taj se broj dodijeli svakoj toj

3

k

ni

POGLAVLJE 1. KRUSKAL-WALLIS TEST 4

opservaciji. Opservaciji Xi j je pridružen rang R(Xi j). Neka je Ri suma rangova pridruženihi-tom uzorku:

Ri

=

∑R(Xi j), i = 1, . . . , k. (1.2)

j=1

1.2 Pretpostavke i hipoteze

Test se može koristiti ako podaci zadovoljavaju sljedeće pretpostavke:

1. svi uzorci su slučajni uzorci iz njihovih populacija,

2. osim nezavisnosti u svakom uzorku, postoji medusobna nezavisnost izmedu različitih

uzoraka,

3. mjerna skala je barem ordinalna,

4. ili su distribucije od k populacija jednake, ili pak neke populacije teže da poprime

veće vrijednosti od ostalih populacija.

Hipoteze koje se testiraju su:

H0: distribucije svih k populacija su jednake H1: barem jedna populacija teži da poprimi veće vrijednosti od barem jedne druge populacije

Budući da je Kruskal-Wallis test konstruiran tako da bude osjetljiv na razlike izmedu očekivanja u k populacija, alternativna hipoteza može se zapisati kao: H1: nema svih k populacija jednako očekivanje.

1.3 Testna statistika

Testna statistika se definira sa

H= 1

S2

∑ Ri

i=1 ni

− N(N + 1) 2 , (1.3)4

gdje su N i Ri definirani redom formulama (1.1) i (1.2), a S 2 je definiran s

S2 =1

N−1

∑

svi rangovi

R(Xi j)2 − N (N + 1) 2 (1.4)4 .

k


Ako nema opservacija s istom vrijednošću, tada se formule za S 2 i H mogu pojednostaviti

S2 = N(N+1)

12

12 ∑i H=

N(N + 1) i=1

Ri

− 3(N + 1). (1.5)ni

Ako ima malo jednakih opservacija, tada je razlika izmedu formula (1.3) i (1.5) jako mala, pa se može koristiti jednostavnija formula (1.5).

Ukoliko su uzorci veliki ili ima ponavljanja, tada se može aproksimativno gledati χ2

distribucija sa k − 1 stupnjeva slobode (tablica 4.1). Ako su uzorci jako mali (ni

≤ 5, ∀i), H ne prati dobro χ2 distribuciju. U tom slučaju točni kvantili mogu se pročitati iz tablice 4.2.

Nulta hipoteza se odbacuje na niovu značajnosti α ako je vrijednost testne statistike H veća od χ1−α kvantila.

1.4 Distribucija testne statistike

Distribucija od H se dobila uz pretpostavku da su sve opservacije iz iste ili iz jednakih populacija. Koristi se metoda randomizacije. To znači da uz gornju pretpostavku svaki raspored rangova 1 do N redom u grupe veličine n1, n2, . . . , nk, je jednako vjerojatan, i pojavljuje se sa vjerojatnošću n 1 !n 2

!···n k

! N! , koja je recipročna broju načina podjele N rangova

u grupe veličine n1, n2, . . . , nk. Vrijednost H je izračunata za svaku podjelu po formuli (1.5). Vjerojatnosti povezane sa jednakim vrijednostima H su zatim zbrojene da daju distribuciju vjerojatnosti od H.

Na primjer, ako imam tri uzorka redom duljine n1 = 2, n2 = 1 i n3 = 1, tada postoji 12 jednako vjerojatnih raspodjela za rangove 1 do 4, te svaki raspored ima vjerojatnost 1 12 .

raspored 1 2 3 H1 1,2 3 4 2.72 1,2 4 3 2.73 1,3 2 4 1.84 1,3 4 2 1.85 1,4 2 3 0.36 1,4 3 2 0.37 2,3 1 4 2.78 2,3 4 1 2.79 2,4 1 3 1.810 2,4 3 1 1.811 3,4 1 2 2.712 3,4 2 1 2.7

k


Tada su funkcija vjerojatnosti f (x) i funkcija distribucije F(x) sljedeće:

x f(x) = P(H = x) F(x) = P(H ≤ x)0.3 2/12 = 1/6 1/61.8 4/12 = 1/3 1/22.7 6/12 = 1/2 1

Za velike uzorke aproksimacija za distribuciju od H se bazira na činjenici da je Ri u (1.2) suma od ni slučajnih varijabli, te za veliki ni može se koristiti centralni granični teorem. Tada je

Ri − E[Ri] √

Var(Ri) aproksimativno distribuirano kao standardizirana normalna slučajna varijabla kada je H0

istinita.

Teorem 1.4.1. Neka je X suma od n slučajno izabranih brojeva, bez zamjene, od prvih N prirodnih brojeva 1 do N. Tada su očekivanje i varijanca dani sa

E(Ri) = n(N + 1) 2

Var(Ri) = n(N + 1)(N − n) .12

Iz teorema slijedi da se očekivanje i varijanca od Ri mogu zapisati kao

E(Ri) = n i (N + 1) 2

i

Tada je

Var(Ri) = n i (N + 1)(N − n i ) .

12

( [ ])2

[Ri − E(Ri) √

ni(N + 1)]2 Ri −

2=

Var(Ri) ni(N + 1)(N − ni)12

aproksimativno distribuirana sa χ2 slučajnom varijablom sa jednim stupnjem slobode. Ako su Ri medusobno nezavisne, distribucija sume

( [

∑ Ri − H′ =

ni(N + 1)

2

])2

ni(N + 1)(N − ni) i=1

12

k

1

POGLAVLJE 1. KRUSKAL-WALLIS TEST

može se aproksimirati χ2 distribucijom sa k stupnjeva slobode. Medutim, suma Ri-eva jeN(N+1)

7

2 , pa postoji zavisnost medu Ri-evima. Kruskal je pokazao da ako se i-ti član u H′

pomnoži sa N−niN za i = 1, . . . , k, tada je rezultat( [

∑ Ri − H=

ni(N + 1)

2

])2

(1.6)

ni(N + 1)N i=1

12 aproksimativno distribuiran kao χ2 slučajna varijabla sa k − 1 stupnjeva slobode. Formula (1.6) je samo preuredena formula (1.5). Prema tome, za aproksimaciju distribucije Kruskal-Wallis testne statistike može se koristiti χ2 distribucija.

1.5 Višestruko usporedivanje

Ako (i jedino tada) je nulta hipoteza odbačena, može se koristiti sljedeća procedura zautvrdivanje koji se par populacija razlikuje. Populacije i i j razlikuju se ako je zadovoljenasljedeća nejednakost:

( Ri )1 ( )1

2 2

1

gdje su

ni − n j

>t1−2

S2N − 1 − H N−k

(1.7)ni + nj

◮ Ri i R j sume rangova uzoraka i i j,( )

◮ t1− α je 1−α kvantil od Studentove T distribucije (tablica 4.3) sa N − k stupnjeva

2 2slobode,

◮ S2 računaseizformule(1.4),

◮ Hračunaseizformule(1.3)ili(1.5).

Ova procedura se ponavlja za svaki par populacija. Koristi se isti nivo značajnosti α kao i kod Kruskal-Wallis testa. [4]

Poglavlje 2

Primjer 1

2.1 Primjer intervalne skale

Promatram količinu glukoze (mmol/L), skraćeno GUK, kod dijabetičara. Podijelit ću ih u tri grupe s obzirom na indeks tjelesne mase (kg/m2), skraćeno ITM, i to na mršave (< 25), normalne (25 − 30) i debele (> 30). Želim testirati, postoji li statistički značajna razlika u GUK kod dijabetičara s obzirom na ITM. U analizama statistički značajnom razlikom smatrat ću ako je greška tipa I (α) < 0.05.

H0 : µ<25 = µ25−30 = µ>30, H1 : barem se dva uzorka statistički značajno razlikuju

mršavi (< 25) normalni (25 − 30) debeli (> 30)18.2 6.2 14.67.9 5.4 79.9 7 4.92.1 4.6 10.34.4 4.6 15.54.4 5.6 10.34.5 7.9 10.2

5.7 10.54.84.3

xi 7.34 5.61 10.41si 5.44 1.15 3.49

Tablica 2.1: Izmjereni podaci i deskriptivna statistika za GUK po kategorijama ITM

8

guk

(mm

ol/L

)POGLAVLJE 2. PRIMJER 1 9

Podatke ću prikazat pomoću grafičkog prikaza Box & Whisker plot. Na njemu se možeiščitati karakteristična petorka (minimum, maksimum, donji i gornji kvartil te medijan) zasvaki uzorak.

Box & Whisker Plot: GUK po ITM20

18

16

14

12

10

8

6

4

2

Median 0 25%-75%

1 2 3 Min-Max

itm

Slika2.1: Box & Whisker plot za originalne podatke

guk

(mm

ol/L

)POGLAVLJE 2. PRIMJER 1 10

Prije provjere uvjeta homogenosti varijanci korisno je pogledati podatke pomoću grafičkog prikaza Box & Whisker plot. Sada se crta sredina i standardna devijacija podataka. Uočavam da bi mogla postojati razlika izmedu varijanci.

Box & Whisker Plot: GUK po ITM 20

18

16

14

12

10

8

6

4

2

0

-2

-4

Mean -6 Mean±SD

1 2 3 Mean±1,96*SD

itm

Slika 2.2: Box & Whisker plot za originalne podatke

k

k ni

ni

k ni

POGLAVLJE 2. PRIMJER 1 11

Levene - uvjet homogenosti varijance

Za provjeru uvjeta homogenosti varijance koristit ću Levenov test [6].

H0 : σ1 = . . . = σk

H1 : barem se dvije varijance od njih k medusobno statistički značajno razlikuju

Testna statistika W definirana je sa:

∑ (N − k) ni(Zi· − Z··)2

i=1

W = (2.1)∑∑

(k − 1) (Zi j − Zi·)2i=1 j=1

gdje je

• kbrojslučajnihuzoraka,

• Nukupanbrojopservacija,ani brojopservacijaui-tomuzorku,

• Yi, j je vrijednost j-te opservacije u i-tom uzorku,

• Zi, j = |Yi j − Yi·|, gdje je Yi· aritmetička sredina i-tog uzorka,

• Zi· = 1

ni

• Z·· = 1

N

∑Zi j je aritmetička sredina od Zi j uzorka i

j=1

∑∑Zi j je aritmetička sredina od svih Zi j

i=1 j=1

Izračunat ću sada testnu statistiku W:

◮ k=3,N =25,n1 =7,n2 =10in3 =8,

◮ Y1· = 25735 , Y2· = 5.61 i Y3· = 80

◮ Z1· = 978245 , Z2· = 0.872 i Z3· = 320

◮ Z·· = 2.2155

◮ W =3.9487


Odbacujem nultu hipotezu ako je W > Fα(k − 1, N − k), gdje je Fα(k − 1, N − k) gornja kritična vrijednost F distribucije sa k − 1 i N − k stupnjevima slobode za nivo značajnosti α. Za α = 0.05 vrijednost F0.05(2, 22) = 3.44 je manja od vrijednosti testne statistike W =3.9487.Dakle,odbacujemnultuhipotezu(homogenostvarijanci)zanivoznačajnosti α = 0.05 i zaključujem da ne mogu koristiti ANOVA-u nego neparametrijski Kruskal-Wallisov test.

Kruskal-Wallis test

Testiram hipotezu: H0 : ne postoji razlika medu grupama, H1 : postoji barem jedna grupa koja se razlikuje

Sortirat ću svih 25 opservacija od najmanje prema najvećoj. Zatim ću svakoj dodijeliti rang. Najmanja će dobiti rang 1, sljedeća rang 2, i tako dalje do najveće koja će dobiti rang N=25. Budući da imam opservacije s istim vrijednostima, za svaku grupu takvih opservacija izračunat ću prosjek dodijeljenih rangova, te ću dobiveni broj dodijeliti svakoj opservaciji iz dane grupe kao novi rang.

mršavi normalni debeliopservacija rang opservacija rang opservacija rang

18.2 25 6.2 13 14.6 237.9 16.5 5.4 10 7 14.59.9 18 7 14.5 4.9 92.1 1 4.6 6.5 10.3 20.54.4 3.5 4.6 6.5 15.5 244.4 3.5 5.6 11 10.3 20.54.5 5 7.9 16.5 10.2 19

5.7 12 10.5 224.8 84.3 2

ni 7 10 8Ri 72.5 100 152.5

Tablica 2.2: Podaci GUK-a s pripadajućim rangovima te deskriptivnom statistikom


Sada ću izračunati podatke potrebne za računanje testne

statistike H: → N =25,

→ k=3,

→ n1 = 7, n2 = 10 i n3 = 8,

→ R1 = 72.5, R2 = 100 i R3 = 152.5 su izračunati po

formuli (1.2) → S2 računampoformuli(1.4)

1S2 =

25 − 1 (252 + 16.5

2 + 18

2 + 1 + 3.5

2 + 3.5

2 + 52 + 132 + 102 + 14.52 + 6.52 +

6.52

+ 112 + 16.52 + 122 + 82 + 22 + 232 + 14.52 + 92 + 20.52 + 192 + 222 − 25(25 + 1) 2 )

( ) 4

= 124 5522.5 − 16900 = 54.0625

4 Budući da nisu sve opservacije različite, za računanje testne statistike koristit ću formulu(1.3)

H=

154.0625

(72.52

+ 100 2 + 152.5

2 7 10 8

)− 25(25 + 1)

2 = 8.00784

Budući da je N=25 i nisu sve opservacije različite, H statistika ima aproksimativnoχ2(2) distribuciju (tablica 4.1). Za α = 0.05 je H= 8.0078 > 5.9915 = χ0.95(2).Odbacujem nultu hipotezu i zaključujem da postoji statistički značajna razlika medu grupamaITM.

Višestruko usporedivanje

Provjeravam koji se uzorci statistički značajno razlikuju. Koristim formulu (1.7).

populacije R i ni

√ ( )1

1 2−R j 2.074 39.2990 + 1

nj ni nj

mršavi/normalni 0.3571 6.4072mršavi/debeli 8.7053 6.7290

normalni/debeli 9.0625 6.1672

Dakle, mogu reći da se na nivou značajnosti α = 0.05 statistički značajno razlikuje uzorak 1 (mršavi) i uzorak 3 (debeli), te uzorak 2 (normalni) i uzorak 3 (debeli).

rang


Sada ću prikazati rangirane podatke pomoću Box & Whisker plota. Pogledat ću kara-kterističnu petorku rangova za svaku grupu ITM-a. Iz grafičkog prikaza mogu naslutiti da postoji razlika medu uzorcima. Testom sam pokazala koji se uzorci statistički značajno razlikuju.

Boxplot by GroupVariable: rang

26

24

22

20

18

16

14

12

10

8

6

4

2 Median

0 25%-75%1 2 3 Min-Max

itm

Slika2.3: Box & Whisker plot za rangirane podatke

The SAS System

The ANOVA Procedure

Class Level Information

Dependent Variable: guk

Class Levels Values

itm 3 1 2 3

Number of Observations Read 25

Number of Observations Used 25

The SAS System

The ANOVA Procedure

Source DF Sum of Squares Mean SquareF Value Pr > F

Model 2 103.3195071 51.6597536 4.13 0.0300

Error 22 275.1348929 12.5061315

Corrected Total 24 378.4544000

R-Square Coeff Var Root MSEguk Mean

0.273004 46.33649 3.536401 7.632000

Source DF Anova SS Mean SquareF Value Pr > F

itm 2 103.3195071 51.6597536 4.13 0.0300

The SAS System

The ANOVA Procedure

Levene's Test for Homogeneity of guk Variance

ANOVA of Absolute Deviations from Group Means

Source DF Sum of Squares Mean Square F Value Pr > F

itm 2 40.2628 20.1314 3.95 0.0343

Error 22 112.2 5.0982

Tablica 2.3: Rezultat LevenovogStestazatGUK po kategorijama ITM

Vrijednost statistike F (u mojimeoznakamaPW)ejeu3.95, a pripadna p vrijednost je0.0343. Budući da je p vrijednost mala mogu odbaciti nultu hipotezu o homogenosti vari-

gukjance. Dakle, ne mogu koristiti testanalizevarijance.

itm N Mean Std Dev1 7 7.3428571 5.44085077

2 10 5.6100000 1.15417118

3 8 10.4125000 3.49548178


Kruskal-Wallis test

Naredbe u SAS-u za Kruskal-Wallis test:

ods output WilcoxonScores=WilcoxonScores; proc npar1way data=dijabetes wilcoxon; class itm; var guk; output out=wilcoxon; run;

Iz tablice 2.4 vidim da je vrijednosThe SAS System78, a pripadna p vrijednost 0.0182. Odbacujem nultu hipotezu (da nema razlike medu grupama) i zaključujem da postoji statistički značajna razlika u GUK-u po kategorijama ITM.

The NPAR1WAY Procedure

Wilcoxon Scores (Rank Sums) for Variable guk

Classified by Variable itm

Sum of Expected Std Dev Meanitm N Scores Under H0 Under H0 Score

2 10 100.00 130.0 18.010414 10.000000

3 8 152.50 104.0 17.149344 19.062500

1 7 72.50 91.0 16.506817 10.357143

Average scores were used for ties.

Kruskal-Wallis Test

Chi-Square 8.0078

DF 2

Pr > Chi-Square0.0182

Tablica 2.4: Rezultat Kruskal-Wallis testa za GUK po kategorijama ITM


U SAS-u ne postoji procedura koja radi višestruko usporedivanje. Zato ću isprogramirati tu metodu.

Prvo ću iz tablica dobivenih procedurom proc npar1way izvući vrijednost H statistike te R1, R2 i R3 (1.2).


data _NULL_; set wilcoxon; x=_KW_; call symput("H",x); set WilcoxonScores; where Class='1'; x1=SumOfScores; call symput("R1",x1); set WilcoxonScores; where Class='2'; x2=SumOfScores; call symput("R2",x2); set WilcoxonScores; where Class='3'; x3=SumOfScores; call symput("R3",x3); run;

Zatim ću pripremiti podatke za računanje S 2 (1.4).

%let n=25; %let n1=7; %let n2=10; %let n3=8; %let k=3; %let alfa=0.05;

proc rank data=dijabetes out=rang; var guk;

run; proc sort data=rang;

by itm; run; data novo;

set rang; x=guk**2;

run; proc means data=novo noprint;

output out=suma; run; data _NULL_;

set suma; where _STAT_="MEAN"; x1=x; call symput("x",x1);

run;


Na kraju provodim test (1.7) i računam pripadne p vrijednosti.

data rez; s=(1/(&n-1))*(&n*&x-&n*(&n+1)**2/4);

par1=sqrt(1/&n1+1/&n2); par2=sqrt(1/&n1+1/&n3); par3=sqrt(1/&n2+1/&n3);

prod=sqrt(s*(&n-1-&H)/(&n-&k));

nazivnik1=prod*par1; nazivnik2=prod*par2; nazivnik3=prod*par3;

brojnik1=abs(&R1/&n1-&R2/&n2); brojnik2=abs(&R1/&n1-&R3/&n3); brojnik3=abs(&R2/&n2-&R3/&n3);

T1=brojnik1/nazivnik1; T2=brojnik2/nazivnik2; T3=brojnik3/nazivnik3;

if (T1 > tinv(1-&alfa/2,&n-&k))>0 then reject12='Yes'; else reject12='No'; if (T2 > tinv(1-&alfa/2,&n-&k))>0 then reject13='Yes'; else reject13='No'; if (T3 > tinv(1-&alfa/2,&n-&k))>0 then reject23='Yes'; else reject23='No';

pvr_12=(1-cdf('T',T1,&n-&k))*2; pvr_13=(1-cdf('T',T2,&n-&k))*2; pvr_23=(1-cdf('T',T3,&n-&k))*2;

SAS Output Page 1 of 1drop par1 par2 par3 prod nazivnik1 nazivnik2 nazivnik3 brojnik1 brojnik2 brojnik3; run; proc print; run; Test za visestruko usporedivanje

Obs s T1 T2 T3 reject12 reject13 reject23 pvr_12 pvr_13 pvr_23

1 54.0625 0.11560 2.68315 3.04766 No Yes Yes 0.90901 0.013582 .005903613

Tablica 2.5: Rezultat testa za višestruko usporedivanje

Mogu reći da se na nivou značajnosti α = 0.05 statistički značajno razlikuju uzorak 1 i uzorak 3 (p vrijednost je 0.0135), te uzorak 2 i uzorak 3 (p vrijednost je 0.0059).


2.3 Primjer intervalne skale koristeći Statisticu

Levene - uvjet homogenosti varijance

Provjerit ću je li zadovoljen uvjet homogenosti varijance:

Statistics → ANOVA → One-way ANOVA → OK Variables → Dependent variable list: guk, te Categorical predictor (factor): itm → OK More results → Assumptions → Levene’s test (ANOVA)

Levene's Test for Homogeneity of Variances Effect: itm Degrees of freedom for all F's: 2, 22

MS MS F pEffect Error

guk 20,13139 5,098160 3,948756 0,034250

Tablica 2.6: Rezultat Levenovog testa za GUK po kategorijama ITM

Dobila sam da je vrijednost statistike F (u mojim oznakama W) jednaka 3.9487, te da je p vrijednost=0.0342. P vrijednost je jako mala pa odbacujem nultu hipotezu o homogenosti varijance.

Kruskal-Wallis test

Statistics → Nonparametrics → Comparing multiple indep. samples (groups) → OK Variables → Dependent variable list: guk, te Categorical predictor (factor): itm → OK Summary: Kruskal-Wallis ANOVA & Median test

Kruskal-Wallis ANOVA by Ranks; rang Independent (grouping) variable: itm Kruskal-Wallis test: H ( 2, N= 25) =8,007845 p =,0182

Depend.: Code Valid Sum ofrang N Ranks1 1 7 72,50002 2 10 100,00003 3 8 152,5000

Tablica 2.7: Rezlutati Kruskal-Wallis testa za GUK po kategorijama ITM


Dobila sam da je vrijednost H statistike jednaka 8.0078, te da je p vrijednost jednaka 0.0182. Dakle, p vrijednost je jako mala pa odbacujem nultu hipotezu da ne postoji razlika medu grupama.


Odabrala sam opciju Multiple comparisons of mean ranks for all groups. Statistica ne koristi formulu (1.7) (iz [4]) koja je prikazana ranije. Ona računa zi j

vrijednosti za svaki par uzoraka po formuli: R i ni

zi j = √

−R j

nj

( ) (2.2)N(N+1) 1

12 ni+ 1

nj

Multiple Comparisons z' values; gukIndependent (grouping) variable: itmKruskal-Wallis test: H ( 2, N= 25) =8,007845 p =,0182

Depend.: 1 2 3guk R:10,357 R:10,000 R:19,0631 0,098469 2,2854352 0,098469 2,5959163 2,285435 2,595916

Tablica 2.8: zi j vrijednosti za višestruko usporedivanje

Multiple Comparisons p values (2-tailed); guk Independent (grouping) variable: itm Kruskal-Wallis test: H ( 2, N= 25) =8,007845 p =,0182

Depend.: 1 2 3guk R:10,357 R:10,000 R:19,063

1 1,000000 0,0668622 1,000000 0,0283023 0,066862 0,028302

Tablica 2.9: P vrijednosti za višestruko usporedivanje


Mogu zaključiti da se razlikuju uzorak 2 (normalni) i uzorak 3 (debeli). Pripadna z23 vrijednost je 2.5959, te pripadna p vrijednost je 0.0283.

2.4 Zaključak

Postoji statistički značajna razlika u količini glukoze izmedu grupa pacijenata po ITM. Prvo sam pokazala uz pomoć Levenovog testa da podaci ne zadovoljavaju jednu od pretpo-stavki (homogenost varijanci) za test analize varijance. Zatim sam napravila Kruskal-Wallis test i pokazala da postoji statistički značajna razlika medu grupama. Sljedeći korak je bio testirati koji se uzorci razlikuju. Nakon post hoc testa višestrukog usporedivanja došla sam do zaključka da se uzorak 3 (debeli) razlikuje od uzorka 1 (mršavi) i uzorka 2 (normalni). Iako test u Statistici nije pokazao da se uzorak 3 i uzorak 1 statistički značajno razlikuju, zaključit ću da razlika ipak postoji jer je pripadna p vrijednost=0.067 dosta mala i zato što je moj test (na stranici 13) pokazao da postoji statistički značajna razlika.

Poglavlje 3

Primjer 2

3.1 Primjer ordinalne skale

Neki poslodavac želi zaposliti tek diplomiranog statističara. Nije siguran je li svejedno s kojeg će fakulteta izabrati svog budućeg zaposlenika. Naime, postoje tri fakulteta koji educiraju statističare. Zato se poslodavac odlučio na sljedeći test. Izabrat će sa svakog fakulteta na slučajan način 5 studenata pred diplomom (koji studiraju statistiku) te im dati da riješe nekoliko zadataka. Zatim će ih rangirati prema uspješnosti rješavanja zadataka. Rang 1 je pridružen najboljem studentu, rang 2 idućem najboljem, i tako do zadnjega kojem će biti pridružen rang 15. Fakultete ću označiti sa F1, F2 i F3. U analizama statistički značajnom razlikom smatrat ću ako je greška tipa I (α) < 0.05.

Testiram: H0 : ne postoji razlika medu fakultetima, H1 : postoji barem jedan fakultet koji se razlikuje

F1 F2 F3

1 2 53 6 114 9 127 10 148 13 15

ni 5 5 5Ri 23 40 57

Tablica 3.1: Rangovi studenata po pojedinim fakultetima te deskriptivna statistika

22

rang


Prikazat ću podatke pomoću grafičkog prikaza Box & Whisker plot. Na njemu se iščitavakarakteristična petorka rangova (minimum, maksimum, donji i gornji kvartil te medijan)za svaki fakultet.

Boxplot by GroupVariable: rang

16

14

12

10

8

6

4

2

Median 0 25%-75%

1 2 3 Min-Max

fakultet

Slika 3.1: Box plot grafički prikaz položajnih vrijednosti rangova za sva tri fakulteta

Imam ordinalne podatke. Zato ih nije potrebno naknadno rangirati. Ne mogu koristiti parametrijski test analize varijance, pa ću koristiti neparametrijski Kruskal-Wallis test.


Kruskal-Wallis test

Izračunat ću podatke za testnu statistiku. Budući da su sve opservacije različite za računanje testne statistike koristim formulu (1.5).

• N =15jebrojsvihopservacija,

• k=3jebrojslučajnihnezavisnihuzoraka,

• n1 = 5, n2 = 5 i n3 = 5 je broj opservacija u svakom uzorku,

• R1 = 23, R2 = 40 i R3 = 57 je izračunato po

formuli (1.2) Po formuli (1.5) izračunat ću S 2 i testnu

statistiku H:

S2 = 15(15+1)= 20(12 )

H= 1

20

232

+ 402 + 572 − 3(15 + 1) = 53.78 − 48 = 5.78 5 5 5

Ako nema ponavljanja i uzorci su jako mali (ni ≤ 5, ∀i), tada nije dobro koristiti za aproksimaciju χ2 distribuciju, jer ju u tom slučaju H ne prati dobro. Zato ću kvantile čitati iz posebno kreirane tablice 4.2. Pokazat ću to na našem primjeru.

Za α = 0.05 odbacujem nultu hipotezu jer je H = 5.78 > 5.66 = w0.95. Ako bi pogledala kvantile χ2 distribucije sa k − 1 = 3 − 1 = 2 stupnja slobode, prihvatila bi nultu hipotezu za nivo značajnosti α = 0.05 jer je H = 5.78 < 5.991 = χ0.95(2). Zato je potrebno paziti kada se može, a kada se ne može koristiti za aproksimaciju χ2 distribucija.


Provjeravam koji uzorci se statistički značajno razlikuju. Koristim istu formulu (1.7) kao i u prošlom primjeru.

populacije R i

ni

√ (

−R j 2.179 13.7nj

)11 1 2

5 + 5

F1-F2 3.4 5.1009F1-F3 6.8 5.1009F2-F3 3.4 5.1009

Mogu zaključiti da se na nivou značajnosti α = 0.05 razlikuju uzorak 1 (F1) i uzorak 3 (F3).


3.2 Primjer ordinalne skale koristeći SAS

Prvo učitavam podatke: data statisticar; input fakultet rang; cards; 1 1 1 3 1 4 1 7 1 8 2 2 2 6 2 9 2 10 2 13 3 5 3 11 3 12 3 14 3 15 ; proc print; run;

Kruskal-Wallis test

Naredbe u SAS-u za Kruskal-Wallis test:

ods output WilcoxonScores=WilcoxonScores; proc npar1way data=statisticar wilcoxon; class fakultet; exact wilcoxon; var rang; output out=wilcoxon; run;

Da bi izračunala preciznu p vrijednost (jer χ2 aproksimacija nije dobra), moram dodati naredbu exact wilcoxon.

SAS Output Page 1 of 1

The SAS System

The NPAR1WAY Procedure

Wilcoxon Scores (Rank Sums) for Variable rang

Classified by Variable fakultet

Sum of Expected Std Dev Meanfakultet N Scores Under H0 Under H0 Score

1 5 23.0 40.0 8.164966 4.60

2 5 40.0 40.0 8.164966 8.00

3 5 57.0 40.0 8.164966 11.40

Kruskal-Wallis Test

Chi-Square 5.7800

DF 2

Asymptotic Pr > Chi-Square0.0556

Exact Pr >= Chi-Square 0.0488

Tablica 3.2: Rezultat Kruskal-Wallis testa za studente po fakultetima

Vrijednost testne statistike je H = 5.78. Prava p vrijednost je 0.0488. Ona je nešto manja od aproksimativne p vrijednosti 0.0556. Dakle, odbacujem nultu hipotezu (nema razlike medu grupama).


Uzet ću vrijednost H statistike te R1, R2 i R3 (1.2).

data _NULL_; set wilcoxon; x=_KW_; call symput("H",x); set WilcoxonScores; where Class='1'; x1=SumOfScores; call symput("R1",x1); set WilcoxonScores; where Class='2'; x2=SumOfScores; call symput("R2",x2); set WilcoxonScores; where Class='3'; x3=SumOfScores; call symput("R3",x3); run;


Zatim ću pripremiti podatke za računanje S 2 (1.5).

%let n=15; %let n1=5; %let n2=5; %let n3=5; %let k=3; %let alfa=0.05;

Na kraju provodim test (1.7) i računam pripadne p vrijednosti.

data rez; s=&n*(&n+1)/12; par1=sqrt(1/&n1+1/&n2); par2=sqrt(1/&n1+1/&n3); par3=sqrt(1/&n2+1/&n3); prod=sqrt(s*(&n-1-&H)/(&n-&k)); nazivnik1=prod*par1; nazivnik2=prod*par2; nazivnik3=prod*par3; brojnik1=abs(&R1/&n1-&R2/&n2); brojnik2=abs(&R1/&n1-&R3/&n3); brojnik3=abs(&R2/&n2-&R3/&n3); T1=brojnik1/nazivnik1; T2=brojnik2/nazivnik2; T3=brojnik3/nazivnik3; if (T1 > tinv(1-&alfa/2,&n-&k))>0 then reject12='Yes'; else reject12='No'; if (T2 > tinv(1-&alfa/2,&n-&k))>0 then reject13='Yes'; else reject13='No'; if (T3 > tinv(1-&alfa/2,&n-&k))>0 then reject23='Yes'; else reject23='No'; pvr_12=(1-cdf('T',T1,&n-&k))*2; pvr_13=(1-cdf('T',T2,&n-&k))*2;

SAS Output Page 1 of 1drop par1 par2 par3 prod nazivnik1 nazivnik2 nazivnik3 brojnik1 brojnik2 brojnik3; run; proc print; run; The SAS System

Obs s T1 T2 T3 reject12 reject13 reject23 pvr_12 pvr_13 pvr_23

1 20 1.45241 2.90482 1.45241 No Yes No 0.17203 0.013208 0.17203

Tablica 3.3: Rezultat testa za višestruko usporedivanje

Mogu reći da se na nivou značajnosti α = 0.05 statistički značajno razlikuju uzorak 1iuzorak 3 (p vrijednost je 0.0132).


3.3 Primjer ordinalne skale koristeći Statisticu

Kruskal-Wallis test

Kruskal-Wallis ANOVA by Ranks; rang Independent (grouping) variable: fakultet Kruskal-Wallis test: H ( 2, N= 15) =5,780000 p =,0556

Depend.: Code Valid Sum ofrang N Ranks1 1 5 23,000002 2 5 40,000003 3 5 57,00000

Tablica 3.4: Rezultat Kruskal-Wallis testa za studente po fakultetima

Vrijednost testne statistike H je 5.78. Statistica nema mogućnost računanja precizne p vrijednosti, nego računa samo asimptotsku koja je 0.0556. Budući da je ta p vrijednost na granici i znam da je prava p vrijednost manja, zaključit ću da se grupe statistički značajno razlikuju.


Po formuli (2.2) dobijem sljedeći rezultat za zi j vrijednosti:

Multiple Comparisons z' values; rang Independent (grouping) variable: fakultet Kruskal-Wallis test: H ( 2, N= 15) =5,780000 p =,0556

Depend.: 1 2 3

rang R:4,6000 R:8,0000 R:11,4001 1,202082 2,4041632 1,202082 1,2020823 2,404163 1,202082

Tablica 3.5: zi j vrijednosti za višestruko usporedivanje


Multiple Comparisons p values (2-tailed); rangIndependent (grouping) variable: fakultetKruskal-Wallis test: H ( 2, N= 15) =5,780000 p =,0556

Depend.: 1 2 3rang R:4,6000 R:8,0000 R:11,4001 0,687996 0,0486292 0,687996 0,6879963 0,048629 0,687996

Tablica 3.6: P vrijednosti za višestruko usporedivanje

Razlikuju se uzorak 1 (F1) i uzorak 3 (F3). Vrijednost od z13 je 2.4041, a pripadna p vrijednost je 0.0486.

3.4 Zaključak

Postoji statistički značajna razlika izmedu fakulteta. Podaci su iz ordinalne skale pa sam morala koristiti neparametrijski Kruskal-Wallis test. Nakon njega sam testirala koji se uzorci razlikuju pomoću post hoc testa višestrukog usporedivanja, te sam došla do za-ključka da se uzorak 1 (F1) statistički značajno razlikuje od uzorka 3 (F3). U ovom primjeru bilo je potrebno obratiti dodatnu pozornost na računanje p vrijednosti za testnu statistiku. Nisam mogla koristiti χ2 aproksimaciju jer su uzorci jako mali i sve su opservacije različite.

Poglavlje 4

Prilozi

k w0.90 w0.95 w0.99

1 2.706 3.841 6.6352 4.605 5.991 9.2103 6.251 7.815 11.344 7.779 9.488 13.285 9.236 11.07 15.096 10.64 12.59 16.817 12.02 14.07 18.488 13.36 15.51 20.099 14.68 16.92 21.6710 15.99 18.31 23.21

Tablica 4.1: Kvantili χ2

distribucije (za potpunu tablicu pogledati u [4])

Vrijednosti u ovoj tablici su kvantili od χ2 slučajne varijable W sa k stupnjeva slobode, prikazanih tako da je P(W ≤ wp) = p i P(W > wp) = 1 − p.

30

POGLAVLJE 4. PRILOZI 31

Veličina uzorka w0.90 w0.95 w0.99

2,2,2 3.7143 4.5714 4.57143,2,1 3.8571 4.2857 4.28573,2,2 4.4643 4.5000 5.35713,3,1 4.0000 4.5714 5.14293,3,2 4.2500 5.1389 6.25003,3,3 4.6000 5.0667 6.48894,2,1 4.0179 4.8214 4.82144,2,2 4.1667 5.1250 6.00004,3,1 3.8889 5.0000 5.83334,3,2 4.4444 5.4000 6.30004,3,3 4.7000 5.7273 6.70914,4,1 4.0667 4.8667 6.16674,4,2 4.4455 5.2364 6.87274,4,3 4.7730 5.5758 7.13644,4,4 4.5000 5.6538 7.53855,2,1 4.0500 4.4500 5.25005,2,2 4.2933 5.0400 6.13335,3,1 3.8400 4.8711 6.40005,3,2 4.4946 5.1055 6.82185,3,3 4.4121 5.5152 6.98185,4,1 3.9600 4.8600 6.84005,4,2 4.5182 5.2682 7.11825,4,3 4.5231 5.6308 7.39495,4,4 4.6187 5.6176 7.74405,5,1 4.0364 4.9091 6.83645,5,2 4.5077 5.2462 7.26925,5,3 4.5363 5.6264 7.54295,5,4 4.5200 5.6429 7.79145,5,5 4.5000 5.6600 7.9800

Tablica 4.2: Kvantili Kruskal-Wallis testne statistike za male uzorke [4]

Može se odbaciti nulta hipoteza za nivo značajnosti α ako Kruskal-Wallis testna statistika, dana sa formulom (1.5), premašuje 1 − α kvantil dan u gornjoj tablici.

POGLAVLJE 4. PRILOZI 32

stupnjevi slobode w0.95 w0.975 w0.995

1 6.314 12.706 63.6572 2.920 4.303 9.9253 2.353 3.182 5.8414 2.132 2.776 4.6045 2.015 2.571 4.0326 1.943 2.447 3.7077 1.895 2.365 3.4998 1.860 2.306 3.3559 1.833 2.262 3.25010 1.812 2.228 3.16911 1.796 2.201 3.10612 1.782 2.179 3.05513 1.771 2.160 3.01214 1.761 2.145 2.97715 1.753 2.131 2.94716 1.746 2.120 2.92117 1.740 2.110 2.89818 1.734 2.101 2.87819 1.729 2.093 2.86120 1.725 2.086 2.84521 1.721 2.080 2.83122 1.717 2.074 2.81923 1.714 2.069 2.80724 1.711 2.064 2.79725 1.708 2.060 2.787

Tablica 4.3: Kvantili t distribucije (za potpunu tablicu pogledati u [4])

Vrijednosti u ovoj tablici su kvantili wp od t distribucije za različite stupnjeve slobode. Kvantili wp za p < 0.5 mogu se izračunati iz sljedeće formule

wp = −w1−p.

Uočimo da je w0.50 = 0 za sve stupnjeve slobode.

Bibliografija

[1] SAS Online Doc, NC, USA, 1999, http://v8doc.sas.com/sashtml/.

[2] Electronic Statistics Textbook, Tulsa, 2010, http://www.statsoft.com/textbook/.

[3] Y. Chan i R. P. Walmsley, Learning and Understanding the Kruskal-Wallis One-Way

Analysis-of-Variance-by-Ranks Test for Differences Among Three or More Independent

Groups, Physical Therapy 77 (1997), 1755-1762.

[4] W. J. Conover, Practical Nonparametric Statistic, John Wiley & Sons, New York,

1980.

[5] W. H. Kruskal i W. A. Wallis, Use of ranks on one-criterion variance analysis, Journal

of the American Statistical Association 47 (1952), 583-621.

[6] H. Levene, Robust tests for equality of variances, Contributions to Probability and

Statistics: Essays in Honor of Harold Hotelling, 1960, str. 278-292.

33

http://v8doc.sas.com/sashtml/

http://www.statsoft.com/textbook/

http://www.statsoft.com/textbook/

Sažetak

Uobičajen problem u primijenjenoj statistici je odlučiti dolazi li nekoliko uzoraka iz iste populacije. Česta tehnika za rješavanje takvog problema je jednofaktorska analiza varijance (ANOVA). [5] Ako nije zadovoljena pretpostavka homogenosti varijance ili ako uzorci nisu iz normalno distribuirane populacije i ne mogu se zadovoljiti nekom transformacijom podataka, tada se ne može koristiti ANOVA, te se mora uzeti neki neparametrijski test kao što je na primjer Kruskal-Wallis.

U ovom radu je prikazana teorijska pozadina Kruskal-Wallis testa te je objašnjeno u kojim situacijama se on koristi. Prikazano je kako se test koristi na podacima iz intervalne skale te na podacima iz ordinalne skale. Takoder je prikazano kada je moguće koristiti aproksimaciju za Kruskal-Wallis testnu statistiku. Svaki primjer je prikazan pomoću programskih paketa SAS [1] i Statistica [2].

Summary

A common problem in practical statistics is to decide whether several samples should be regarded as coming from the same population. The usual technique for attacking such problem is the analysis of variance (ANOVA) with a single criterion of classification. [5] If the variance is not homogenous or the population is not normally distributed and those condition cannot be corrected by some data transformation, we cannot use ANOVA. Instead, we apply some nonparametric test such as Kruskal-Wallis test.

In this thesis we have presented the theoretical background of the Kruskal-Wallis test, along with the cases where it is commonly used. Furthermore, we have shown how the test is used on the interval and ordinal scale data and have shown a method of approximating Kruskal-Wallis test statistics. The examples in this thesis were created using software packages SAS [1] and Statistica [2].

Životopis

Rodena sam u Zagrebu 9. siječnja 1986. godine. Nakon završene osnovne škole upisala sam srednju I. Ekonomsku školu u Zagrebu gdje sam 2004. godine maturirala.

U ljeto 2005. godine upisala sam Preddiplomski sveučilišni studij Matematika na Prirodoslovno-matematičkom fakultetu Matematički odjel u Zagrebu. Zatim u ljeto 2008. godine upisala sam Diplomski sveučilišni studij Matematička statistika na istom fakultetu. Tijekom studija bila sam polaznica raznih informatičkih i statističkih tečajeva u Sveučilišnom računskom centru (Srce).

stat

Documents