statistika

STATISTIKAIng. Jan Popelka, Ph.D.odborný asistentKatedra informatiky a geoinformatikyUniverzita Jana Evangelisty Purkyně v Ústí nad Labememail: [email protected]: http://most.ujep.cz/~popelka

http://most.ujep.cz/~popelka





KORELAČNÍ A REGRESNÍ ANALÝZA

0 1

20 1 i

i i

i i i

b n b x y

b x b x x y

3

KORELAČNÍ A REGRESNÍ ANALÝZA

Závislost dvou číselných proměnných. Korelační analýza - korelační koeficient a

Spearmanův korelační koeficient pořadí Základní princip regresní analýzy Odhady regresních koeficientů Alternativní modely Volba vhodného modelu Diagnostická kontrola modelu

4

ZÁVISLOST DVOU ČÍSELNÝCH PROMĚNNÝCH

Grafická analýza závislosti dvou číselných proměnných.

Proměnné vyneseme do bodového grafu, každou proměnnou na jednu osu.

Graf napomáhá odhalení závislosti i naznačuje sílu závislosti!

Je však třeba mít určitou zkušenost při posuzování výsledků, protože závěry mohou být dosti subjektivní.

Jedná se o velmi užitečný a přitom jednoduchý nástroj. Každá složitější analýza závislosti dvou číselných proměnných by měla začínat grafickou analýzou!

Nevýhodou je, že ji nelze použít, pokud je posuzován vliv více proměnných (graf lze vytvořit maximálně trojrozměrný).

5

ZÁVISLOST DVOU ČÍSELNÝCH PROMĚNNÝCHPevná (funkční) závislost. Může jít o závislost lineární, kdy všechny

hodnoty leží na přímce.

Pevná (funkční) závislost

-40

-20

0

20

40

60

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

6

ZÁVISLOST DVOU ČÍSELNÝCH PROMĚNNÝCHPevná (funkční) závislost. Může jít o závislost nelineární, kdy

všechny hodnoty leží na křivce jiné než přímka (parabola).


0

200

400

600

800

1000

1200

1400

-30 -20 -10 0 10 20 30

proměnná x

pro

mě

nn

á y

7


Volná (stochastická) závislost. Hodnoty neleží přímo na přímce, ale je patrný jejich průběh kolem pomyslné přímky.

Čím blíže jsou body pomyslné přímce, tím je závislost těsnější.

Volná (stochastická) závislost

-30

-20

-10

0

10

20

30

40

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

8


Volná (stochastická) závislost. Hodnoty neleží na přímce, ale je patrný jejich průběh kolem pomyslné přímky.

V porovnání s předchozím grafem jde o slabší závislost, hodnoty jsou více rozptýlené


-20

-10

0

10

20

30

40

50

60

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

9

ZÁVISLOST DVOU ČÍSELNÝCH PROMĚNNÝCHVolná (stochastická) závislost. Hodnoty se pohybují v okolí pomyslné

paraboly.


0

100

200

300

400

500

600

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

10


Nezávislost. Pomyslná křivka je rovnoběžná s osou x nebo vůbec nelze nalézt pomyslnou křivku procházející množinou bodů.

Nezávislost se projevuje také hodnotami v kulovém mračnu.

Nezávislost

0

0,2

0,4

0,6

0,8

1

1,2

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

11

KORELAČNÍ ANALÝZA

Korelační koeficienty

Stejně jako u analýzy závislosti dvou slovních nebo jedné slovní a jedné číselné proměnné, lze také zde použít určité koeficienty pro výpočet síly závislosti.

12


Korelační koeficient – nabývá hodnoty <-1;1>

Čím blíže je hodnotě +1, tím je závislost silnější, obě hodnoty společně rostou.

Čím blíže je hodnotě -1, tím je závislost silnější, rostou-li hodnoty jedné proměnné, hodnoty druhé proměnné klesají.

Je-li hodnota blízká nule, nejsou proměnné závislé.

MS Excel: = CORREL (první soubor dat;druhý soubor dat)

Nástroje – Analýza – Analýza dat – Korelace

yxx y

xy x yr

s s

13


Korelační koeficient

Měří vzájemnou závislost dvou proměnných. Nerozlišuje tedy mezi příčinnou a důsledkem. Jde o ukazatel oboustranné závislosti: ryx = rxy .

14


Test lineární závislosti dvou číselných proměnných

H0: mezi proměnnými není lineární závislost

HA: mezi proměnnými je lineární závislost

Testovací statistika:

Kritický obor: W={t: |t| > t1-α/2(n-2)}.

Online kalkulátor: http://vassarstats.net/rsig.html

2

2

1

xy

xy

r nt

r

http://vassarstats.net/rsig.html

15


Korelační koeficient


-40

-20

0

20

40

60

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y


-30

-20

-10

0

10

20

30

40

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y


-20

-10

0

10

20

30

40

50

60

-30 -20 -10 0 10 20 30

proměnná x

pro

měn

ná

y

ryx = +1

ryx = +0,85

ryx = -0,62

16


Spearmanův korelační koeficient pořadí

Je obdobou korelačního koeficientu (nabývá hodnot -1 ≤ rs ≤ +1).

Počítá se z pořadí jednotlivých měření obou proměnných, takže: Nepopisuje jen lineární závislost, ale jakékoliv monotónní vztahy

(obecný růst nebo obecný pokles), je odolný vůči vlivu odlehlých hodnot.

17


Spearmanův korelační koeficient pořadí

Každé hodnotě se přiřadí pořadí Rx a Ry vzhledem k ostatním hodnotám. Pokud jsou hodnoty ve sloupci stejné, vypočet se pořadí jako průměr. Di je pak rozdíl pořadí pro každou dvojici hodnot Di = Rx - Ry.

Online kalkulátory: http://www.vassarstats.net/corr_rank.html (včetně testu závislosti) http://www.maccery.com/maths/

2

2

61

( 1)i

s

Dr

n n

http://www.vassarstats.net/corr_rank.html






http://www.maccery.com/maths/





18


Test závislosti dvou číselných proměnných pomocí Spearmanova korelačního koeficientu pořadí

H0: mezi proměnnými není monotónní závislost

HA: mezi proměnnými je monotónní závislost

Testovací statistika: samotný koeficient rs

Kritický obor: W={rs; rs > r(n;α)}

rs statistika nemá standardní rozdělení, proto je nutno hledat v tabulce (http://most.ujep.cz/~popelka/tabulky.xls)

Online kalkulátor: http://www.vassarstats.net/corr_rank.html

http://most.ujep.cz/~popelka/tabulky.xls










19


Příklad: Byly sledovány hmotnost a IQ dětí, výsledky jsou v tabulce. Je možné, že by tyto dva číselné ukazatele byly závislé?

hmotnost (kg) 25 31 34 38 42 55

IQ 105 115 115 116 125 128

!

20


Příklad: Byly sledovány hmotnost a IQ dětí ...

Bodový graf a hodnota korelačního koeficientu ryx = 0,9346

Analýza ukázala, že se jedná o velmi silnou závislost!!!

S rostoucí hmotností roste IQ.

!

21


Příklad: Byla sledována hmotnost a IQ dětí ...

Tvrzení je samozřejmě nesmyslné!!

Jedná se o tzv. zdánlivou korelaci. Existuje totiž další proměnná (věk dítěte), se kterou jsou obě proměnné vysoce korelovány.

Korelace mezi hmotností a IQ je způsobena vlivem věku.

S rostoucím věkem roste jak hmotnost, tak i IQ. Nelze ale tvrdit, že s rostoucí hmotností roste IQ nebo obráceně.

hmotnost (kg) 25 31 34 38 42 55

IQ 105 115 115 116 125 128

věk (roky) 8 10 11 13 13 14

!

22


Příklad: Byla sledována hmotnost a IQ dětí ...

Korelační matice – vyjadřuje korelaci všech dvojic proměnných.

Hmotnost a věk jsou silně kladně korelovány 0,909.

IQ a věk jsou silně kladně korelovány 0,905.

MS Excel: Data – Analýza – Analýza dat – Korelace

hmotnost IQ věk

hmotnost 1

IQ 0,934683 1

věk 0,909683 0,90569 1

!

23


Příklad: Český hydrometeorologický ústav v Praze měřil na stanicích s různou nadmořskou výškou průměrnou roční teplotu půdy. Údaje jsou uvedeny v následující tabulce.Existuje mezi oběma proměnnými nějaká závislost?

Nadmořská výška (m n. m.) 158 183 203 225 235 272 400 455 595

Průměrná teplota půdy (0C) 10,4 10,5 9,3 9,2 9,9 8,7 8 8,3 8,1

!

24


Příklad: Český hydrometeorologický ústav v Praze měřil ...

Elementární metody popisu závislosti:

korelační koeficient ryx = -0,835

Vzhledem k malému počtu hodnot provedu test lineární závislosti.

H0: mezi proměnnými není lineární závislost

HA: mezi proměnnými je lineární závislost

P-hodnota vypočtená online kalkulátorem (http://vassarstats.net/rsig.html): p-hodnota = 0,0025.

Zamítáme Ho. Platí Ha mezi proměnnými je lineární závislost.

!

http://vassarstats.net/rsig.html

25




Spearmanův korelační koeficient pořadí rs = -0,8833

Ze všech výše uvedených nástrojů vyplývá závěr:

Jedná se o silnou závislost, ne však deterministickou (kromě výšky působí na teplotu i jiné faktory).

S rostoucí výškou průměrná teplota půdy klesá.

!

26




bodový graf

!

27

REGRESNÍ ANALÝZA

Co je to regresní analýza?

Souhrn statistických metod a postupů a slouží k detailnímu pochopení závislosti mezi dvěma nebo více

číselnými proměnnými, slouží k odhadu hodnot vysvětlované proměnné pro známé

hodnoty vysvětlující proměnné.

Aplikace regresní analýzy: analýza závislosti dvou číselných proměnných, analýza závislosti více číselných proměnných, analýza vývoje ukazatele v čase (závislost ukazatele na

proměnné čas).

28

REGRESNÍ ANALÝZA

Jednoduchá regresní analýza

Popisuje závislost dvou číselných proměnných z nichž jedna je nezávislá (vysvětlující proměnná) a jedna je závislá (vysvětlovaná proměnná).

Příklad: závislost koncentrace ozónu na intenzitě slunečního záření.

Příklad: závislost koncentrace prachových částic v ovzduší na atmosférickém tlaku.

Příklad: závislost výšky sněhové pokrývky na nadmořské výšce.

29

REGRESNÍ ANALÝZA

Vícenásobná regresní analýza

Popisuje závislost více číselných proměnných z nichž více je nezávislých (vysvětlující proměnné) a jen jedna je závislá (vysvětlovaná proměnná).

Příklad: závislost koncentrace ozónu na intenzitě slunečního záření, délce slunečního záření, intenzitě automobilové dopravy, tlaku.

Příklad: závislost koncentrace prachových částic v ovzduší na atmosférickém tlaku, teplotě, vlhkosti, rychlosti větru.

Příklad: závislost výšky sněhové pokrývky na nadmořské výšce, délce slunečního záření, typu vegetace, sklonu svahu, směru svahu.

30

Regresní model

Zjednodušené zobrazení reality.

Závislost popisuje pomocí rovnice (v grafu křivka).

y = η + ε

Např. pomocí přímky: y = β0 + β1x + ε(lineární závislost)

Deterministická složka Náhodná složka(popisuje vliv vysvětlující (všechny ostatní, proměnné) nepopsané vlivy)

REGRESNÍ ANALÝZA

31

REGRESNÍ ANALÝZA

Deterministická složka η Popisuje závislost mezi hlavními (pozorovanými) proměnnými. Je vyjádřena konkrétní matematickou funkcí (přímka, hyperbola, parabola atd.)

Náhodná složka ε Popisuje závislost vysvětlované proměnná na neznámých nebo nepozorovaných proměnných a popisuje i vliv náhody.Vyjadřuje se pravděpodobnostní funkcí (normální rozdělení).

32

REGRESNÍ ANALÝZA

Která regresní přímka je vlastně správná?

Pokud jsou pouze dva body, je to jejich spojnice. To ovšem není úloha pro statistiku.

33

REGRESNÍ ANALÝZA

Která regresní přímka je vlastně správná?Pokud je více bodů, je to již problém.

Spojuje přímka krajní body?

Spojuje přímka jiné dva body?

34

REGRESNÍ ANALÝZA

Která regresní přímka je vlastně správná?Pokud je více bodů, je to již problém.

Spojuje přímka jiné dva body?

Prochází přímka mezi body?

35

REGRESNÍ ANALÝZAPříklad: Český hydrometeorologický ústav v Praze měřil ...

Pokud body proložíme přímkou, hovoříme o tzv. regresní přímce.

Pokud by všechny body ležely na přímce, šlo by o model pouze s deterministickou složkou η.Body však leží i mimo – v modelu je deterministická složka η i náhodná složka ε.

!

36


Která regresní přímka je ta správná??Lze vložit přímku jen tak od oka (zelená).

Lze protnout krajní body (červená).

Lze použít nástroje regresní analýzy a nalézt přímku, která prochází nejblíže všem bodům (černá).

!

37


Přímka procházející nejblíže všem bodům je vždy jen jedna! K jejímu nalezení slouží metoda nejmenších čtverců (MNČ).

Vybere ze všech možných přímek takovou, pro kterou je součet druhých mocnin (čtverců) odchylek bodů od přímky (ei

2) minimální.

e3

e1e2

e4

e5

e6 e7e8

e9

!

38


Přímka označená jako 1 je blíže k bodům, součet čtverců odchylek je menší než u přímky označené jako 2. Přímka 1 je vhodnější.

přímka 2

přímka 1

!

39

REGRESNÍ ANALÝZA

Metoda nejmenších čtverců

Nástroj k určení bodových odhadů koeficientů výběrové regresní přímky: ŷ = b0 + b1x

Výběrová je proto, že je založena pouze na výběrových datech. Koeficienty b0 , b1 jsou výběrové (empirické) regresní koeficienty.

Oproti tomu regresní přímka: η = β0 + β1x ,je založena na datech základního souboru (ta většinou nejsou k dispozici), proto je tento model konstruován na základě odhadu.

40

REGRESNÍ ANALÝZA

Metoda nejmenších čtverců

Je založena na řešení soustavy normálních rovnic (pro regresní přímku s neznámými b0 a b1):

jejichž řešením je:

0 1

20 1 i

i i

i i i

b n b x y

b x b x x y

0 12 22 2,i i i i i i i i i

i i i i

y x x y x n x y y xb b

n x x n x x

41

REGRESNÍ ANALÝZAPříklad: Český hydrometeorologický ústav v Praze měřil ...Pomocí metody nejmenších čtverců byla odhadnuta regresní přímka ve tvaru ŷ = 10,795 – 0,00541 · x , nebo také:průměrná teplota půdy = 10,795 - 0,00541·nadmořská výška.

Pozn. V grafu z MS Excel je rovnice zapsána jako výstup volby „Přidat spojnici trendu“ – typ: Lineární.

!

42

REGRESNÍ ANALÝZA


Pomocí metody nejmenších čtverců byla odhadnuta regresní přímka ve tvaru ŷ = 10,795 – 0,00541 · x.

Koeficient b0 = 10,795 je průsečík přímky s osou Y.

V nadmořské výšce 0 metrů n.m. by podle modelu byla průměrná teplota půdy 10,795 0C.

!

43

REGRESNÍ ANALÝZA


Pomocí metody nejmenších čtverců byla odhadnuta regresní přímka ve tvaru ŷ = 10,795 – 0,00541 · x. Koeficient

b1 = 0,00541 je směrnicí přímky a udává její sklon. Je záporný - přímka klesá.

S každým dalším metrem nadmořské výšky klesá průměrná teplota půdy v průměru o 0,005410C.

!

44

REGRESNÍ ANALÝZA


MS Excel: Data – Analýza – Analýza Dat – Regrese

Do políčka „Vstupní oblast Y“ zadáváme

závislou proměnnou.

Data byla vložena včetně popisků

proto zaškrtneme „Popisky“.

Do políčka „Vstupní oblast X“ zadáváme

nezávislou proměnnou.

!

45

REGRESNÍ ANALÝZA


MS EXCEL:

Data – Analýza – Analýza Dat – Regrese

Regresní přímka ve tvaru: ŷ = 10,795 – 0,00541 · x.

KoeficientyChyba stř. hodnoty t stat Hodnota P

Dolní 95% Horní 95%

Hranice 10,79504 0,446866 24,15722 5,3E-08 9,738368 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

!

46

REGRESNÍ ANALÝZA

Pro různý počet pozorování se mohou odhadnuté regresní koeficienty b0 a b1 lišit.

Vedle bodových odhadů regresních koeficientů lze provádět i jejich intervalové odhady.

V praxi mají význam především oboustranné intervaly spolehlivosti:

bi - t1-α/2(n-p) · s(bi) < βi < bi + t1-α/2(n-p) · s(bi) ,

bi … bodový odhad regresního koeficientu,

t1-α/2(n-p) … je kvantil Studentova t rozdělení,

p … je počet koeficientů modelu,

s(bi) … je směrodatná chyba odhadu koeficientu bi.

47

REGRESNÍ ANALÝZA


95% interval spolehlivosti pro koeficient b0.

bi - t1-α/2(n-p) · s(bi) < βi < bi + t1-α/2(n-p) · s(bi)

KoeficientyChyba stř. hodnoty t stat Hodnota P Dolní 95% Horní 95%

Hranice 10,79504 0,446866 24,15722 5,3E-08 9,738368 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

Interval spolehlivosti lze počítat ručně podle vzorce, nebo jej přímo přečíst z výstupu počítače.

!

48

REGRESNÍ ANALÝZA


95% interval spolehlivosti pro oba koeficienty.


Hranice 10,79504 0,446866 24,15722 5,3E-08 9,738368 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

V nadmořské výšce 0 metrů n.m. má s pravděpodobností 95 % průměrná teplota půdy hodnotu v rozmezí 9,74 0C až 11,85 0C.

S každým dalším metrem nadmořské výšky klesá s pravděpodobností 95 % průměrná teplota půdy o hodnotu v rozmezí od 0,00858 0C do 0,00224 0C.

!

49

REGRESNÍ ANALÝZAALTERNATIVNÍ MODELY

Vedle regresní přímky existuje i řada dalších funkcí, jejichž koeficienty lze pomocí metody nejmenších čtverců odhadnout, Nejznámější jsou:

parabola, hyperbola, logaritmická funkce, polynom.

50


Regresní parabola η = β0 + β1x + β2x2

Funkční závislost

Stochastická závislost

51


Regresní hyperbola η = β0 + β1 (1/x)



52


Logaritmická funkce η = β0 + β1·ln(x)



53


Exponenciální funkce

η = β0 eβ1x



54


Polynom stupně n

η = β0 + β1x + β2x2+ +β3x3 ++ ... + βnxn

Pozn.: Na obrázku je polynom pátého stupně.



55

REGRESNÍ ANALÝZAVOLBA VHODNÉHO MODELU

Při volbě nejlepšího modelu lze použít dva postupy:

1. Apriorní volba – model je zvolen na základě praktické nebo teoretické znalosti typu závislosti.

2. Empirická volba – nejvhodnější model se volí posouzením bodového grafu nebo pomocí nástrojů regresní analýzy.Pokud není počet pozorování příliš velký, nemusí tento postup vést k nalezení vhodné funkce pro popis závislosti v základním souboru a popisuje pouze závislost v souboru výběrovém.

56



Empirická volba Volba na základě grafu nemusí být vždy jednoznačná a je subjektivní.

Jde o přímku (černá) nebo logaritmickou funkci (oranžová)nebo snad hyperbolu (červená)?

57


Empirická volba

Statistický software včetně MS Excel nabízí tzv.

determinační index I2

(anglicky se značí R2).

Vystihuje, jak těsně datové body přiléhají ke křivce.

Nabývá hodnot <0; 1>. Čím více se blíží jedné, tím těsněji datové body ke křivce přiléhají. Navíc určuje, jaké procento změn vysvětlované proměnné je vysvětleno odhadnutým modelem.

Čím vyšší je jeho hodnota, tím je model vhodnější.

58

Regresní statistika

Násobné R 0,83649

Hodnota spolehlivosti R 0,699716

Nastavená hodnota spolehlivosti R 0,656818

Chyba stř. hodnoty 0,560452

Pozorování 9

REGRESNÍ ANALÝZAVOLBA VHODNÉHO MODELUPříklad: Český hydrometeorologický ústav v Praze měřil ...

MS EXCEL: Data – Analýza – Analýza Dat – Regrese

Hodnota determinačního indexu I2 je 0,699716.69,97 % změn průměrné teploty půdy je vysvětleno změnami nadmořské výšky.Zbylých 30,03 % je způsobeno jinými vlivy (les x louka, orientace svahu atd.).

!

59


Porovnání alternativních modelů pomocí determinačního indexu I2.

V porovnání s ostatními modely je regresní přímka nejméně vhodná. Nejlepší se jeví hyperbola. Pomocí hyperboly je vysvětleno 85 % změn průměrné teploty půdy prostřednictvím změn nadmořské výšky.

Model I2

Hyperbola 85,39%

Logaritmický 80,01%

Přímka 69,97%

!

60


Empirická volba

Při srovnávání modelů s nestejným počtem koeficientů (např. zahrnutí polynomů) je nutno používat

upravený determinační index I2upr.

(anglicky se značí R2adj).

Penalizuje složitější modely s více koeficienty, což samotný I2 nedokáže.

Nabývá hodnot <0; 1>. Čím více se blíží jedné, tím těsněji datové body ke křivce přiléhají.

Čím vyšší je jeho hodnota, tím je model vhodnější.

61


Empirická volba - upravený determinační index I2upr.

Vztah mezi determinačním indexem I2 a upraveným det. indexem I2upr.

I2upr. = I2 - (1 - I2)∙(p - 1)/(n - p - 2)

n je počet pozorování a p je počet parametrů regresního modelu.

62


Násobné R 0,83649




Pozorování 9


MS EXCEL: Data – Analýza – Analýza Dat – Regrese

Hodnota upraveného determinačního indexu I2upr. je 0,656818.

Jeho hodnota bývá nižší než hodnota I2.

!

63


Porovnání alternativních modelů pomocí upraveného determinačního indexu I2

upr. .

V porovnání s ostatními modely je regresní přímka nejméně vhodná. Nejlepší se jeví hyperbola.

Model I2upr.

Hyperbola 83,30%

Parabola (3 koeficienty) 81,55%

Logaritmická fce. 77,15%

Přímka 65,68%

!

64



Odhad koeficientů hyperboly v MS EXCEL: Data – Analýza – Analýza Dat – Regrese

Pozn.: v programu sleduje se závislost teploty na proměnné 1/nadm. výška

Regresní hyperbola má tvar ŷ = 6,931 + 564,21/x.Interpretace odhadnutých koeficientů již není tak jednoduchá jako v případě regresní přímky.



Hranice 6,931651693 0,37130046 18,668578 3,141E-07 6,053665 7,8096377

1/nadm. výška 564,2132944 88,2086726 6,3963471 0,0003685 355,6329 772,79366

!

65


Princip jednoduchosti

Protože zvolený model je zjednodušením reality, je vhodné volit model co nejjednodušší.

Pokud není významný rozdíl mezi determinačními indexy I2 resp. upravenými determinačními indexy I2

upr. jednotlivých modelů (± 2%), je vhodné zvolit model jednodušší (menší počet koeficientů, méně složitý matematický zápis funkce).

y = b0 + b1x +b2x2 + b3x3 vs. Y = b0 + b1x

I2upr.= 87,52% vs. I2

upr.= 85,65%

66


Volba na základě znalosti studované problematiky Některé modely mají svá omezení, která způsobí, že danou závislost nepopíší správně.

Příklad: Český hydrometeorologický ústav v Praze ...

Hyperbola nikdy nedosáhne záporných hodnot, takže nikdy nemůže vyjít průměrná teplota půdy pod 0 0C, podobně to platí pro logaritmickou funkci (záporných hodnot dosáhne až pro hodnoty na 20 000 m n.m.). Z tohoto pohledu jsou obě funkce nevhodné.

Parabola dosáhne minima a pak začne opět stoupat, ve vysokých nadmořských výškách by průměrná teplota půdy paradoxně rostla. Také parabola je nevhodná.

Přímku tedy nadále budeme uvažovat jako nejhodnější model.

!

67


Nikdy nezapomínejte na bodový graf!! Ve všech čtyřech zobrazených případech metoda nejmenších čtverců shodně odhadne regresní přímkuve tvaru ŷ = 3 + 0,5x s determinačním indexem I2 = 0,667.

68


Volba modelu na základě testuTest pro zjištění, zda je složitější model (více koeficientů) vhodnější

než jednodušší

H0: složitější model nepřináší zlepšení

HA: složitější model přináší zlepšení


H0 zamítáme, pokud platí: F > F1- (p2 - p1; n - p2).SR(1) je reziduální součet čtverců jednoduššího modelu, SR(2)reziduální součet čtverců složitějšího modelu, n je počet

pozorování, p1 počet koeficientů jednoduššího modelu a p2 početkoeficientů složitějšího modelu.

2 1

2

(1) (2)

(2)

R R

R

S S

p pF

S

n p

69


Příklad: Český hydrometeorologický ústav v Praze měřil ...Porovnáme dva modely: přímku a polynom 4. stupně pomocí testu.!

70


Příklad: Český hydrometeorologický ústav v Praze měřil ...Porovnáme dva modely: přímku a polynom 4. stupně pomocí testu.

H0: složitější model nepřináší zlepšení

HA: složitější model přináší zlepšení

SR(1) = 2,199 (přímka)

SR(2) = 0,840 (pol.)

p1 = 2

p2 = 4

ANOVA - Přímka

Rozdíl SS MS F Významnost F

Regrese 1 5,123473 5,12347 16,3112 0,004941

Rezidua 7 2,198748 0,31410

Celkem 8 7,322222

ANOVA – Polynom 4. stupně


Regrese 4 6,482473 1,62061 7,71953 0,0364412

Rezidua 4 0,83975 0,20993

Celkem 8 7,322222

!

71


Příklad: Český hydrometeorologický ústav v Praze měřil ...Testovací statistika:

H0 zamítáme, pokud platí: F > F1- (p2 - p1; n - p2),

kde F0,95(3;4) = 6,591.

Protože testovací statistika nepadne do kritického oboru: F < 6,591,

nezamítáme Ho, složitější model nepřináší zlepšení.

2 1

2

(1) (2) 2,199 0,8405 2 2,157

(2) 0,8409 5

R R

R

S S

p pF

S

n p

!

72

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELU

Diagnostika modelu

Nástroj sloužící k odvození obecného regresního modelu (model popisující závislost zkoumaných ukazatelů) z empirického regresního modelu (model popisující závislost vybraných hodnot zkoumaných ukazatelů).

Je třeba zjistit, zda lze obecný model skutečně pro daná data vytvořit a jaké jsou jeho regresní koeficienty.

K tomu slouží dva testy:

1. F-test o regresním modelu- zabývá se statistickou významností celého modelu, tedy vytvořitelností obecného regresního modelu.

2. t-testy o regresních koeficientech - zabývají se se statistickou významností jednotlivých regresních koeficientů, tedy jejich hodnotou v obecném regresním modelu.

73

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUF-test o regresním modeluH0: zvolený model není statisticky významný, obecný model nelze vytvořit

matematicky: β0 = c; β1 = 0HA: zvolený model je statisticky významný, obecný model lze vytvořit

matematicky : β0 = c; β1 ≠ 0


ST je teoretická suma čtverců,SR je reziduální suma čtverců.

Kritický obor: W = {F; F1-α(p-1;n-p}

/( 1)

/( )T

R

S pF

S n p

74



F-test o regresním modelu v MS EXCEL: Nástroje – Analýza Dat – Regrese

Test vyhodnotíme pomocí p-hodnoty.P-hodnota = 0,004941 < α = 0,05, takže model je statisticky významný a lze jej pro daná data použít.

ANOVA - Přímka


Regrese 1 5,12347361 5,12347 16,3112 0,004941

Rezidua 7 2,19874860 0,31410

Celkem 8 7,32222222

!

75

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUF-test o regresním modelu

Pro model s více koeficienty mají hypotézy tvar:

H0: zvolený model není statisticky významný, obecný model nelze vytvořitmatematicky: β0 = c; β1 = 0; β2 = 0; … ; βn = 0

HA: zvolený model je statisticky významný, obecný model lze vytvořit matematicky: β0 = c; alespoň jeden z koeficientů se nule nerovná

Příklad: Regresní parabola η = β0 + β1x + β2x2

H0: β0 = c; β1 = 0; β2 = 0

HA: β0 = c; alespoň jeden z koeficientů se nule nerovná

!

76


T-testy o regresních koeficientech se provádějí pro každý koeficient zvlášť.

H0: koeficient není statisticky významný, v obecném modelu se rovná nula; βi = 0

HA: koeficient je statisticky významný, v obecném modelu se nerovná 0; βi ≠ 0


bi je bodový odhad koeficientu,

s(bi) je směrodatná chyba odhadu regresního koeficientu.

Kritický obor: W = {|t|; t1-α/2(n-p)}

( )i

i

bts b

77

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUPříklad: Český hydrometeorologický ústav v Praze měřil ...t-test o regresním koeficientu β0 v MS EXCEL: Nástroje – Analýza Dat

– Regrese

H0: β0 = 0 vs. HA: β0 ≠ 0



Hranice 10,79504 0,446866 24,15722 5,3E-08 9,738368 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

P-hodnota = 0,000000053 < α = 0,05, takže koeficient β0 je statisticky významný. V obecném modelu bude zapsán hodnotou bodového odhadu 10,79504.

!

78

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUPříklad: Český hydrometeorologický ústav v Praze měřil ...t-test o regresním koeficientu β1 v MS EXCEL: Nástroje – Analýza Dat

– Regrese

H0: β1 = 0 vs. HA: β1 ≠ 0



Hranice 10,79504 0,446866 24,15722 5,3E-08 9,738368 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

P-hodnota = 0,004941 < α = 0,05, takže i koeficient β1 je statisticky významný. V obecném modelu bude zapsán hodnotou bodového odhadu -0,00541.

!

79

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUPříklad: Český hydrometeorologický ústav v Praze měřil ...t-testy o regresních koeficientech β0 a β1 v MS EXCEL: Nástroje –

Analýza Dat – Regrese


Hranice 10,79504 0,446866 24,15722 5,3E-08 9,73836 11,85171

Nadm. výška -0,00541 0,00134 -4,03872 0,004941 -0,00858 -0,00224

Vyhodnocení statistické významnosti koeficientů je možné i podle intervalů spolehlivosti. Padne-li do odpovídajícího intervalu 0, pak je koeficient statisticky nevýznamný.

Oba koeficienty jsou statisticky významné, protože ani v jenom z 95 % intervalů spolehlivosti se 0 nenachází.

!

80

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUPříklad: Český hydrometeorologický ústav v Praze měřil ...

Diagnostickou kontrolou modelu bylo zjištěno, že obecný regresní model lze odvodit (F-test o regresním modelu).Diagnostickou kontrolou modelu bylo zjištěno, že regresní koeficienty jsou významné, a tedy je do regresního modelu zapíšeme jejich bodovými odhady (t-testy o regresních koeficientech).

Obecný model má konečný tvar:η = 10,795 – 0,00541 neboliprůměrná teplota půdy = 10,795 - 0,00541·nadmořská výška.

Pozn. Pokud v t-testu o regresním koeficientu platí Ho, pak se do obecného modelu zapíše hodnota koeficientu 0!

!

81

REGRESNÍ ANALÝZADIAGNOSTICKÁ KONTROLA MODELUt-testy je nutno provést pro všechny regresní koeficienty.

V mnoha případech vychází koeficient β0 statisticky nevýznamný (β0 = 0).

U regresní přímky je to logické!

Příklad: Sleduji–li závislost počtu vypitých piv na váze pijáka, tak je jasné, že piják s hmotností 0 kg vypije 0 piv.

Příklad: Sleduji-li závislost počtu dětí ve školkách na počtu školek ve městě, tak je jasné, že město, které nemá ani jednu školku, nebude mít žádné dítě ve vlastní školce.

V takovém případě lze zlepšit odhad modelu nastavením nulového koeficientu β0: Nástroje – Analýza – Analýza Dat – Regrese zaškrtnout políčko „konstanta je nula“).

!!

82


t-testy je nutno provést pro všechny regresní koeficienty.

Pokud vyjde u regresní přímky koeficient β1 statisticky nevýznamný znamená to, že proměnné nejsou závislé. V takovém případě vyjde i v F-testu, že model není významný.

Jinými slovy: je-li β1 = 0, pak má regresní přímka nulovou směrnici a závislá proměnná y nabývá stále stejnéhodnoty bez ohledu na hodnotu nezávislé proměnné x.

83


Příklad: Český hydrometeorologický ústav v Praze měřil ...Odhad koeficientů polynomu 4. stupně (ŷ = b0 + b1x + b2x2 +b3x3 + b4x4)

Hodnota determinačního indexu I2 roste s počtem koeficientů, proto je nutné modely s více koeficienty (zde jich je 5) porovnávat pomocí upraveného determinačního indexu I2

upr. = 0,7706.


Násobné R 0,940911754




Pozorování 9

Model I2upr.

Hyperbola 83,30%

Parabola 81,55%

Logaritm. fce. 77,15%

Polynom 4. st. 77,06%

Přímka 65,68%

!

84


Příklad: Český hydrometeorologický ústav v Praze měřil ...Odhad koeficientů polynomu 4. stupně

Obecně je velmi nevhodné používat polynomy vyšších stupňů. Dobře popisují pouze výběrová data.

!

85


Příklad: Český hydrometeorologický ústav v Praze měřil …Odhad koeficientů polynomu 4. stupně: t-testy

H0: zvolený model není statisticky významný (β0 = c; β1 = 0; β2 = 0; β3 = 0; β4 = 0)

HA: zvolený model je statisticky významný (β0 = c; alespoň jeden z koeficientů se nule nerovná)

P-hodnota = 0,03644 < α = 0,05, takže model je statisticky významný a lze jej pro daná data použít.

ANOVA – Polynom 4. stupně


Regrese 4 6,482473 1,620618 7,719531 0,0364412

Rezidua 4 0,83975 0,209937

Celkem 8 7,322222

!

86



Odhad koeficientů polynomu 4. stupně: t-testy

Na hladině významnosti α = 0,05 jsou dle t-testu všechny koeficienty β0, β1, β2, β3, β4 statisticky nevýznamné.

Regresní rovnice by měla tvar ŷ = 0 + 0x + 0x2 + 0x3 + 0x4, tedy ŷ = 0 . Tento jev často nastává u polynomů vyšších stupňů. Doporučením je snížení stupně polynomu (redukce koeficientů).


Hranice 7,604427913 13,1428372 0,5785986 0,5938759

nad 0,06634885 0,17915618 0,3703408 0,7299051

nad^2 -0,00044506 0,00085759 -0,5189696 0,6311722

nad^3 9,95695E-07 1,6971E-06 0,5867033 0,5889174

nad^4 -7,2728E-10 1,176E-09 -0,618352 0,5698146

!

87

Lineární závislost Korelační koeficient a Spearmanův korelační koeficient

pořadí Empirický a obecný regresní model Deterministická složka Náhodná složka Regresní koeficienty Metoda nejmenších čtverců Determinační index a upravený det. index Princip jednoduchosti Diagnostická kontrola modelu

KORELAČNÍ A REGRESNÍ ANALÝZADŮLEŽITÉ POJMY – 8. PŘEDNÁŠKA

statistika

Documents