statistički testovi 1

4 Testiranje statistickihhipoteza

1

4.1. Statisticka hipoteza

Promatramo statisticko obiljezje X.

Statisticka hipoteza je (bilo koja) pretpostavka o

(populacijskoj) razdiobi od X.

Kazemo da je statisticka hipoteza jednostavna uko-

liko jednoznacno odreduje razdiobu od X. U suprot-

nom kazemo da je slozena.

2

Primjeri.

• H1 : X ima normalnu razdiobu

→ slozena hipoteza

• H2 : X ∼ N(170,64)

→ jednostavna hipoteza

3

4.2. Statisticki test

Neka je µ = E[X].

Na primjer, pretpostavimo da nas zanima je li tocna

hipoteza:

H0 : µ ≤ 50.

Preciznije, zelimo na osnovi realizacije slucajnog u-

zorka za X donijeti odluku hocemo li odbaciti ili ne

odbaciti tu hipotezu.

4

Postupak donosenja odluke o odbacivanju ili ne odbaci-

vanju statisticke hipoteze zove se testiranje statistickih

hipoteza.

Primijetimo da uz osnovnu ili nul - hipotezu, npr.:

H0 : µ ≤ 50,

postoji njoj alternativna hipoteza:

H1 : µ > 50.

5

Buduci da sve odluke bazirane na uzorcima iz po-

pulacije nisu 100% pouzdane, ni zakljucak (odluka)

statistickog testa nije 100% pouzdan.

Dakle, moze se dogoditi da je zakljucak testa pogresan.

Prema tome, imamo sljedecu situaciju:

6

zakljucaktocno je ne odbaciti H0 odbaciti H0

H0√

pogresno! (I)H1 pogresno! (II)

√

Pogreska koju cinimo kada odbacujemo H0, a ona

je istinita, je pogreska prve vrste.

Pogreska koju cinimo kada ne odbacujemo H0, a

istinita je H1, je pogreska druge vrste.

7

Test ce u potpunosti biti sproveden ako mozemo

procijeniti vjerojatnosti mogucih pogresaka u za-

kljucku testa.

Razumno je zahtjevati test kojemu se mogu kontroli-

rati vjerojatnosti obiju pogresaka. To nije moguce

jer smanjivanjem vjerojatnosti pogreske prve vrste

povecava se vjerojatnost pogreske druge vrste i o-

bratno.

8

S druge strane, u velikoj vecini slucajeva moguce je

za zadanu razinu znacajnosti testa α (α ∈ 〈0,1〉)medu testovima kojima vjerojatnost pogreske prve

vrste ne prelazi broj α naci (konstruirati) test s naj-

manjom vjerojatnosti pogreske druge vrste.

9

Neka je X1, X2, . . . , Xn slucajni uzorak za X i

X := (X1, X2, . . . , Xn).

Tada su realizacije x = (x1, x2, . . . , xn) tog uzorka

elementi od Rn.

Definicija. Test (hipoteze H0 u odnosu na alterna-

tivu H1) je preslikavanje τ : Rn → {0,1}.

Interpretacija. Ako je za realizaciju x uzorka X

τ(x) = 1, tada odbacujemo H0 u korist H1, a ako je

τ(x) = 0, tada ne odbacujemo H0 u korist H1.

10

Tada je

C := τ−1(1) = {x ∈ Rn : τ(x) = 1}podrucje realizacija uzoraka za koje se H0 odbacuje

u korist H1.

C se naziva kriticno podrucje za test τ .

11

Populacijska razdioba: X ∼ f(x|θ), θ ∈ Θ

Vjerodostojnost od θ: L(θ|x) =∏n

i=1 f(xi|θ)

Preslikavanje γ : Θ → [0,1] def. sa:

γ(θ) := Eθ[τ(X)] = Pθ(X ∈ C) =∫

C

L(θ|x) dx

zove se jakost testa τ .

Interpretacija. Ukoliko je θ1 vrijednost parametra za

koju je H1 istinito, jakost testa γ(θ1) je sposobnost

testa da odbaci H0 ako je H0 neistinita hipoteza.

12

Neka su:H0: θ ∈ Θ0H1: θ ∈ Θ1.

Preslikavanje α : Θ0 → [0,1] def. sa:

α(θ) := γ(θ) = Pθ(X ∈ C)

je vjerojatnost pogreske 1. vrste.

ατ := supθ∈Θ0

α(θ)

je znacajnost testa τ . Kazemo da test ima razinuznacajnost α ukoliko mu je znacajnost manja ili jed-naka α.

13

H0: θ ∈ Θ0

H1: θ ∈ Θ1.

Preslikavanje β : Θ1 → [0,1] def. sa:

β(θ) := 1− γ(θ) = Pθ(X /∈ C)

je vjerojatnost pogreske 2. vrste.

14

Definicija. Kazemo da je test τ uniformno najjaci

ako za svaki drugi test τ ′ takav da je ατ ′ ≤ ατ , vrijedi

da je γτ ′(θ) ≤ γτ(θ) za sve θ.

Ukoliko postoji, kako naci uniformno najjaci test?

15

Pretpostavimo da zelimo testirati:

H0: θ = θ0H1: θ = θ1

gdje su θ0 6= θ1 dvije vrijednosti parametra.

Nadalje, neka su

L(θ0|x) =n∏

i=1

f(xi|θ0), L(θ1|x) =n∏

i=1

f(xi|θ1)

vjerodostojnosti od θ0 i θ1.

16

Lema. (Neyman, Pearson)Neka je k > 0 takav broj da za skup

C = {x ∈ Rn : L(θ0|x) ≤ kL(θ1|x)}vrijedi da je

∫C

L(θ0|x) dx = α za zadani α ∈ 〈0,1〉.Ako za neki drugi B ⊆ Rn vrijedi da je∫

B

L(θ0|x) dx ≤ α,

tada je nuzno∫

B

L(θ1|x) dx ≤∫

C

L(θ1|x) dx.

(Dokaz.)

17

Interpretacija.

Test τ(x) := 1C(x) za C iz N-P leme je uniformno

najjaci test za testiranje jednostavne hipoteze H0 u

odnosu na jednostavnu alternativu H1.

18

Primjer 4.1. Za varijablu X poznato je da je

X ∼ N(µ,9) i µ ∈ {13.8,15.0}.

Na osnovi uzorka za X duljine n = 70 treba testiratinul-hipotezu

H0 : µ = 15.0

u odnosu na alternativu

H1 : µ = 13.8

uz razinu znacajnosti od α = 5%.

19

Konstrukcija testa sastoji se od odredivanja testne

statistike na osnovi cijih vrijednosti se donose od-

luke, i (slike) kriticnog podrucja koji je skup onih

mogucih vrijednosti testne statistike za koje se od-

bacuje H0 u korist H1. Takav skup takoder zovemo

kriticnim podrucjem.

(Izvod optimalnog (tj. uniformno najjaceg testa).)

20

Dakle, za ovaj primjer, testna statistika (optimalnog)testa je

Z =X − 15.0

3

√70.

Kriticno podrucje uz uvjet da vjerojatnost pogreskeprve vrste bude jednaka α = 0.05:

P(Z ≤ −u |H0) = 0.05

ZH0∼ N(0,1) ⇒ u = z0.05 = (tablice) = 1.64

⇒ kriticno podrucje je interval 〈−∞,−1.64]

Dakle, H0 odbacujemo ako je z ≤ −1.64.

21

Ako je z > −1.64 ne odbacujemo H0. U tom slucaju

je vjerojatnost pogreske druge vrste

β = P(Z > −1.64 |H1) =

= P(X − 13.8

3

√70 >

15.0− 13.8

3

√70− 1.64 |H1) =

= P(X∗ > 1.71) =

= 1−Φ(1.71) =

= 0.5−Φ0(1.71) =

= 0.0436.

22

Jakost testa je

γ = P(Z ≤ −1.64 |H1) =

= 1− P(Z > −1.64 |H1) =

= 1− β = 1− 0.0436 =

= 0.9564.

23

Zadatak 1. (jednostrani z-test)

Pokazite da je za X ∼ N(µ, σ20), gdje je σ2

0 poznato,uniformno najjaci test za testiranje hipoteza

H0 : µ = µ0H1 : µ < µ0,

na razini znacajnosti α, dan testnom statistikom

Z =X − µ0

σ0

√n

i kriticnim podrucjem z ≤ −zα.

(µ0 je zadani broj, z je vrijednost od Z)

24

Zadatak 2. (jednostrani z-test, 2. put)

Pokazite da je za X ∼ N(µ, σ20), gdje je σ2

0 poznato,uniformno najjaci test za testiranje hipoteza

H0 : µ = µ0H1 : µ > µ0,

na razini znacajnosti α, dan testnom statistikom

Z =X − µ0

σ0

√n

i kriticnim podrucjem z ≥ zα.

(µ0 je zadani broj, z je vrijednost od Z)

25

Zadatak 3. (dvostrani z-test)

Neka je X ∼ N(µ, σ20), gdje je σ2

0 poznato. Je li testhipoteza

H0 : µ = µ0H1 : µ 6= µ0,

dan testnom statistikom

Z =X − µ0

σ0

√n

i kriticnim podrucjem |z| ≥ zα/2 (na razini znacajnostiα), uniformno najjaci?

(µ0 je zadani broj, z je vrijednost od Z)

26

Primijetimo da nam je u primjeru 4.1. racun bioolaksan jer su obje hipoteze (osnovna i alternativna)bile jednostavne. U praksi to nije slucaj.

Na primjer, ako za X ∼ N(µ,9) zelimo testirati

H0 : µ ≥ 15H1 : µ < 15,

onda su obje hipoteze slozene.

Pretpostavimo da je testna statistika ista kao u pri-mjeru 4.1:

Z =X − 15

3

√n.

27

I kriticno podrucje je istoga oblika kao u primjeru

4.1: 〈−∞,−u]. Odredimo u > 0 t.d. je za zadanu

razinu znacajnosti α

P(Z ≤ −u |µ = 15 + δ) ≤ α za sve δ ≥ 0

⇔ P(X − µ

3

√n ≤ −u− δ

3

√n) ≤ α za sve δ ≥ 0

⇔ Φ(−u− δ

3

√n) ≤ α za sve δ ≥ 0.

Buduci da je za sve δ ≥ 0, Φ(−u− δ3√

n) ≤ Φ(−u),

u odredimo tako da je Φ(−u) = 0.5−Φ0(u) = α.

28

Dakle, konstrukcija kriticnog podrucja je ista ako

originalnu (slozenu) hipotezu H0 zamijenimo sa (jed-

nostavnom) hipotezom

H0: µ = 15,

odnosno, ako testiramo

H0 : µ = 15H1 : µ < 15.

Dakle, sada smo problem testiranja sveli na z-test

opisan u zadatku 1.

29

U pravilu, za nul-hipotezu uvijek se uzimaju jednos-

tavne hipoteze ili hipoteze koje jednoznacno odreduju

razdiobu testne statistike.

U interpretaciji, za nul-hipoteze uzimamo one hipoteze

za koje zelimo kontrolirati vjerojatnost da cemo ih

odbaciti ako su istinite, odn. vjerojatnost pogresaka

prve vrste.

30

Primjer 4.2. (Primjer 1.4.) Kockar je optuzen da je

koristio namjestenu kocku. Koju osnovnu hipotezu

koristi statisticar kada sprovodi odgovarajuci test za

sud?

31

H0: Kocka je simetricna.

Trebamo kontrolirati vjerojatnost da cemo pogrijesiti

ako odbacimo H0, tj. da se proglasi krivim nevini

covjek.

32

Primjer 4.3. Tvornica je proizvela novu seriju pado-

brana. Kontrolor kvalitete mora statistickim meto-

dama (statisticki test) odluciti hoce li padobrane

propustiti na trziste ili ne. Koju hipotezu treba uzeti

za osnovnu?

33

H0: Padobran nije ispravan.

34

4.3 Testovi omjera vjerodostojnosti

Neka je X1, X2, . . . , Xn slucajni uzorak za X i neka

je populacijska gustoca od X: f(x|θ), θ ∈ Θ.

Cilj: konstrirati test za testiranje

H0 : θ ∈ Θ0H1 : θ ∈ Θ1.

35

Neka je x = (x1, x2, . . . , xn) opazeni uzorak.

Vjerodostojnost:

L(θ|x) =n∏

i=1

f(xi|θ), θ ∈ Θ

Pretpostavimo da postoje:

θ0 = θ0(x) ∈ Θ0 i θ = θ(x) ∈ Θ

t.d. da vrijedi

L(θ0|x) = maxθ∈Θ0

L(θ|x), L(θ|x) = maxθ∈Θ

L(θ|x).

36

Definicija. Omjer vjerodostojnosti je funkcija:

x 7→ λ(x) :=L(θ0|x)

L(θ|x).

Test za testiranje nevedenih hipoteza kojemu je kri-

ticno podrucje oblika

C = {x ∈ Rn : λ(x) ≤ c},za neku realnu konstanu c < 1, zovemo testom om-

jera vjerodostojnosti (engl. likelihood ratio test ili

LR-test).

37

Zadatak 4. (dvostrani z-test)

Neka je X1, X2, . . . , Xn slucajni uzorak za X s nor-

malnom populacijskom distribucijom N(µ, σ20) (σ2

0 je

poznato). Odredite test omjera vjerodostojnosti za

testiranje nul-hipoteze H0: µ = µ0 u odnosu na

dvostranu alternativu H1: µ 6= µ0.

38

Zadatak 5. (t-test) Neka je X1, X2, . . . , Xn slucajni

uzorak za X s normalnom populacijskom distribuci-

jom N(µ, σ2) (oba parametra su nepoznata). Odre-

dite test omjera vjerodostojnosti za testiranje nul-

hipoteze H0: µ = µ0 u odnosu na

(a) jednostranu alternativu H1: µ < µ0;

(b) jednostranu alternativu H1: µ > µ0;

(c) dvostranu alternativu H1: µ 6= µ0.

39

4.4 Test o ocekivanju normalno distribuirane

populacije (t-test)

Neka je X1, . . . , Xn slucani uzorak za X ∼ N(µ, σ2).

Zelimo testirati hipoteze o parametru µ (σ2 je nepoz-

nat).

Od sada pa nadalje, neka µ0 oznacava neki unaprijed

zadani broj.

40

Razlikujemo tri slucaja:

(1) : (2) : (3) :

H0 : µ = µ0 H0 : µ = µ0 H0 : µ = µ0H1 : µ > µ0 H1 : µ < µ0 H1 : µ 6= µ0

Alternative u (1) i (2) su jednostrane

→ jednostrani testovi

dok je alternativa u (3) dvostrana

→ dvostrani test.

41

U sva tri slucaja, testna statistika je jednaka:

T =X − µ0

S

√n

H0∼ t(n− 1)

Kriticna podrucja se razlikuju.

Neka je α zadana razina znacajnosti.

42

(1):

H0 : µ = µ0H1 : µ > µ0

P(T ≥ tα(n− 1) |H0) = α

⇒ kriticno podrucje:

[tα(n− 1),+∞〉

43

(2):

H0 : µ = µ0H1 : µ < µ0

P(T ≤ −tα(n− 1) |H0) = α

⇒ kriticno podrucje:

〈−∞,−tα(n− 1)]

44

(3):

H0 : µ = µ0H1 : µ 6= µ0

P(|T | ≥ tα/2(n− 1) |H0) = α

⇒ kriticno podrucje:

〈−∞,−tα/2(n− 1)] ∪ [tα/2(n− 1),+∞〉

45

Primjer 4.4. (Primjer 3.13)U svrhu istrazivanja toksicnosti jedne vrste plijesnina urod kukuruza, mjeri se kolicina toksicne tvari umg. Uzorak od 9 ekstrakata te plijesni:

1.2, 0.8, 0.6, 1.1, 1.2, 0.9, 1.5, 0.9, 1.0

Pretpostavka je da mjereno obiljezje ima normalnurazdiobu.Iz uzorka je izracunano: x = 1.02 i s = 0.28.

Uz 5% znacajnosti testirajte

H0 : µ = 1.00H1 : µ > 1.00.

46

Jednostrani t-test:

Testna statistika: T = X−1.00S · 3

Kriticno podrucje: [t0.05(8),+∞〉 = [1.86,+∞〉

Vrijednost testne statistike:

t =x− 1.00

s· 3 =

1.02− 1.00

0.28· 3 = 0.214

47

Buduci da je t = 0.214 < 1.86, tj. t ne pripada

kriticnom podrucju, ne odbacujemo H0 u korist al-

ternative.

Preciznije, uz znacajnost od 5%, ne odbacujemo

pretpostavku da je µ manje ili jednako od 1.00, odn.

ne mozemo tvrditi da je ocekivana kolicina toksicne

tvari u ekstraktu plijesni veca od 1.00.

48