statystyka matematyczna -...
TRANSCRIPT
STATYSTYKA MATEMATYCZNA
1. Wykład wstępny
2. Zmienne losowe i teoria prawdopodobieństwa
3. Populacje i próby danych
4. Testowanie hipotez i estymacja parametrów
5. Najczęściej wykorzystywane testy statystyczne I
6. Najczęściej wykorzystywane testy statystyczne II
7. Regresja liniowa
8. Regresja nieliniowa
9. Określenie jakości dopasowania równania regresji liniowej i nieliniowej
10. Korelacja
11. Elementy statystycznego modelowania danych
12. Porównywanie modeli
13. Analiza wariancji
14. Analiza kowariancji
15. Podsumowanie dotychczasowego materiału, wspólna analiza przykładów, dyskusja
WSTĘP
1. Korelacja liniowa Pearsona• obliczanie• testowaie• korelacja wielokrotna
2. Korelacja rangowa Spearmana• obliczanie• Testowanie
3. Inne miary korelacji
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI PEARSONA
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI PEARSONA - definicja
odchylenia od średniej:
n
i
n
i
ii
n
i
ii
xy
yyxx
yyxx
r
1 1
22
1
n
i
ii yyxx1
oryginalne odchylenia
masa tłuszcz masa tłuszcz
89 28 9.6 1.7
88 27 8.6 0.7
66 24 -13.4 -2.3
59 23 -20.4 -3.3
93 29 13.6 2.7
73 25 -6.4 -1.3
82 29 2.6 2.7
77 25 -2.4 -1.3
100 30 20.6 3.7
67 23 -12.4 -3.3
średnia:
79.4 26.3 0.000 0.000 Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI PEARSONA - definicja
1. Miara zależności pomiędzy 2ma zmiennymi (x,y)
2. Założenia:• ciągłe wartości zmiennych• normalny rozkład zmiennych• mierzy zależność liniową
3. Wartości [ -1, 1 ]
n
i
n
i
ii
n
i
ii
xy
yyxx
yyxx
r
1 1
22
1
Copyright ©2018, Joanna Szyda
0
5
10
15
20
0 5 10 15 20
y
x
WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady
0
5
10
15
20
0 5 10 15 20
y
x
0
5
10
15
20
0 5 10 15 20
y
x
0
5
10
15
20
0 5 10 15 20
y
x
rxy= -1 rxy= -0.9
rxy= -0.5 rxy= 1
Copyright ©2018, Joanna Szyda
1
6
11
16
21
26
3 7 11 15 19
y
x
rxy= 0.816
WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady
1
6
11
16
21
26
3 7 11 15 19
y
x
rxy= 0.816
1
6
11
16
21
26
3 7 11 15 19
y
x
rxy= 0.816
1
6
11
16
21
26
3 7 11 15 19
y
x
rxy= 0.816
Copyright ©2018, Joanna Szyda
PRÓBA DANYCH
MASA
CIAŁA
ZAW.
TŁUSZCZU
89 28
88 27
66 24
59 23
93 29
73 25
82 29
77 25
100 30
67 23
r = 0.94
WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI PEARSONA - testowanie
1. Hipotezy
• H0: brak korelacji między masą ciała, a zaw. tłuszczu
• H1: istnieje korelacja między masą ciała, a zaw. tłuszczu
• H0: r = 0 H1: r 0
2. Założone maksymalne prawdopodob. błędu aMAX = 0.01
3. Test:
4. Prawdopodobieństwo błędu dla t=7.47 wynosi aT=0.00007
5. aMAX > aT
6. H1
7. Występuje dodatnia korelacja między masą ciała, a zawartością tłuszczu
Copyright ©2018, Joanna Szyda
𝑡 =𝑟 𝑛 − 2
1 − 𝑟2~𝑡𝑛−2
WSPÓŁCZYNNIK KORELACJI WIELOKROTNEJ - definicja
1. Miara jak daną zmienną można przewidzieć stosując liniową funkcję innych zmiennych
2. Mierzy jedynie siłę lecz nie kierunek zmian
3. Wartości [ 0, 1 ]
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI SPEARMANA
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI SPEARMANA - definicja
1. Miara zależności pomiędzy 2ma zmiennymi (x,y)
2. Brak założeń dotyczących rozkładu zmiennych
3. Brak założeń dotyczących liniowej zależności
pomiędzy zmiennymi
4. Mierzy zależność monotoniczną
5. Wykorzystuje ranking obserwacji
6. Wartości [ -1, 1 ]
1
6
12
1
2
NN
dn
i
i
xy
różnica w rankingu
zmiennych x i y
Copyright ©2018, Joanna Szyda
1
6
11
16
21
26
3 7 11 15 19
y
x
WSPÓŁCZYNNIK KORELACJI SPEARMANA - przykłady
1
6
11
16
21
26
3 7 11 15 19
y
x
1
6
11
16
21
26
3 7 11 15 19
y
x
1
6
11
16
21
26
3 7 11 15 19
y
x
xy= 0.818
xy= 0.991
xy= 0.691
xy= 0.500
Copyright ©2018, Joanna Szyda
PRÓBA DANYCH
1. 18 samców Fregata magnificens
2. Powiązanie objętości worka z częstotliwością wydawanego dźwięku
objętość
[cm3]
częstotliwość
[Hz]
1760 529
2040 566
2440 473
2550 461
2730 465
2740 532
3010 484
3080 527
3370 488
3740 485 = - 0.76
WSPÓŁCZYNNIK KORELACJI SPEARMANA- przykłady
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI SPEARMANA - testowanie
1. Hipotezy
• H0: brak korelacji między objętością, a częstotliwością
• H1: istnieje korelacja między objętością, a częstotliwością
• H0: = 0 H1: 0
2. Założone maksymalne prawdopodob. błędu aMAX = 0.01
3. Test:
4. Prawdopodobieństwo błędu dla t=-4.68 wynosi aT=0.00019
5. aMAX > aT
6. H1
7. Występuje ujemna korelacja między objętością worka, a częstotliwością dźwięku
22
~1
2
Nt
Nt
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK KORELACJI PEARSONA vs. SPEARMANA
x y x y x y x y x y x y
1 3 1 1 1 0 1 1 1 10 1 10
2 4 2 2 2 3 2 2 2 8 2 6
3 5 3 3 3 3.6 3 3 3 7 3 4
4 6 4 4 4 3.7 4 4 4 6.5 4 3
5 7 5 5 5 3.9 5 5 5 6 5 1
6 8 6 6 6 4 6 6 6 6.4 6 2
7 9 7 7 7 4.1 7 7 7 7.1 7 5
8 10 8 8 8 4.2 8 8 8 8 8 6
9 11 9 9 9 9 9 9 9 8.5 9 8
10 12 10 10 10 14 10 10 10 9 10 9
P S P S P S
0
2
4
6
8
10
12
14
0 1 2 3 4 5 6 7 8 9 10 11
y
x
0
2
4
6
8
10
12
14
0 1 2 3 4 5 6 7 8 9 10 11
y
x
0
2
4
6
8
10
12
14
0 1 2 3 4 5 6 7 8 9 10 11
y
x
Copyright ©2018, Joanna Szyda
INNE MIARY KORELACJI
Copyright ©2018, Joanna Szyda
WSPÓŁCZYNNIK TAU (Kendall)
Copyright ©2018, Joanna Szyda
𝜏 =𝑛𝑐 − 𝑛𝑑𝑛(𝑛 − 1)
2objętość
[cm3]
częstotliwość [Hz]
Ranga 1 Ranga 2#
zgodnych rang
# niezgodnych rang
1760 529 1 16 2 15
2040 566 2 18 0 162440 473 3 10 6 92550 461 4 7 7 6
2730 465 5 8 6 62740 532 6 17 9 12
3010 484 7 12 3 83080 527 8 15 0 10
3370 488 9 14 0 93740 485 10 13 0 84910 478 11 11 0 75090 434 12 5 1 45091 468 13 9 0 55380 449 14 6 0 45850 425 15 4 0 36730 389 16 1 2 06990 421 17 3 0 17960 416 18 2
Suma rang 36 123
𝜏 =36 − 123
18(18 − 1)2
𝜏 = −0.57
• Miara korelacji oparta na rangach• 𝜏 ∈ [−1,1]
WSPÓŁCZYNNIK TAU (Kendall)
Copyright ©2018, Joanna Szyda
1. Hipotezy
• H0: brak korelacji między objętością, a częstotliwością
• H1: istnieje korelacja między objętością, a częstotliwością
• H0: t= 0 H1: t 0
2. Założone maksymalne prawdopodob. błędu aMAX = 0.01
3. Test:
4. Prawdopodobieństwo błędu dla z=-3.30 wynosi aT=0.001
5. aMAX > aT
6. H1
7. Występuje ujemna korelacja między objętością, a częstotliwością
𝑧 =𝜏 − 0
2(2𝑛 + 5)9𝑛(𝑛 − 1)
=−0.57
0.17= −3.30 ~𝑁(0,1)
WSPÓŁCZYNNIK GAMMA (Goodman i Kruskal)
Copyright ©2018, Joanna Szyda
𝛾 =𝑛𝑐 − 𝑛𝑑𝑛𝑐 + 𝑛𝑑
• Miara korelacji oparta na rangach
• Podobna do t• 𝛾 ∈ [−1,1]
3. Test:
4. Prawdopodobieństwo błędu dla z=-3.17 wynosi aT=0.002
5. aMAX > aT
6. H1
7. Występuje ujemna korelacja między objętością, a częstotliwością
𝑧 =3𝛾 𝑛(𝑛 − 1)
2(2𝑛 + 5)=3 ∙ −0.55 ∙ 17.49
9.06= −3.17 ~𝑁(0,1)
Copyright ©2018, Joanna Szyda
LITERATURA
1. Korelacja liniowa Pearsona• obliczanie• testowaie• korelacja wielokrotna
2. Korelacja rangowa Spearmana• obliczanie• Testowanie
3. Inne miary korelacji