statystyka matematyczna -...

22
STATYSTYKA MATEMATYCZNA 1. Wykład wstępny 2. Zmienne losowe i teoria prawdopodobieństwa 3. Populacje i próby danych 4. Testowanie hipotez i estymacja parametrów 5. Najczęściej wykorzystywane testy statystyczne I 6. Najczęściej wykorzystywane testy statystyczne II 7. Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania równania regresji liniowej i nieliniowej 10. Korelacja 11. Elementy statystycznego modelowania danych 12. Porównywanie modeli 13. Analiza wariancji 14. Analiza kowariancji 15. Podsumowanie dotychczasowego materiału, wspólna analiza przykładów, dyskusja

Upload: voduong

Post on 01-Mar-2019

224 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

STATYSTYKA MATEMATYCZNA

1. Wykład wstępny

2. Zmienne losowe i teoria prawdopodobieństwa

3. Populacje i próby danych

4. Testowanie hipotez i estymacja parametrów

5. Najczęściej wykorzystywane testy statystyczne I

6. Najczęściej wykorzystywane testy statystyczne II

7. Regresja liniowa

8. Regresja nieliniowa

9. Określenie jakości dopasowania równania regresji liniowej i nieliniowej

10. Korelacja

11. Elementy statystycznego modelowania danych

12. Porównywanie modeli

13. Analiza wariancji

14. Analiza kowariancji

15. Podsumowanie dotychczasowego materiału, wspólna analiza przykładów, dyskusja

Page 2: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSTĘP

1. Korelacja liniowa Pearsona• obliczanie• testowaie• korelacja wielokrotna

2. Korelacja rangowa Spearmana• obliczanie• Testowanie

3. Inne miary korelacji

Copyright ©2018, Joanna Szyda

Page 3: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI PEARSONA

Copyright ©2018, Joanna Szyda

Page 4: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI PEARSONA - definicja

odchylenia od średniej:

n

i

n

i

ii

n

i

ii

xy

yyxx

yyxx

r

1 1

22

1

n

i

ii yyxx1

oryginalne odchylenia

masa tłuszcz masa tłuszcz

89 28 9.6 1.7

88 27 8.6 0.7

66 24 -13.4 -2.3

59 23 -20.4 -3.3

93 29 13.6 2.7

73 25 -6.4 -1.3

82 29 2.6 2.7

77 25 -2.4 -1.3

100 30 20.6 3.7

67 23 -12.4 -3.3

średnia:

79.4 26.3 0.000 0.000 Copyright ©2018, Joanna Szyda

Page 5: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI PEARSONA - definicja

1. Miara zależności pomiędzy 2ma zmiennymi (x,y)

2. Założenia:• ciągłe wartości zmiennych• normalny rozkład zmiennych• mierzy zależność liniową

3. Wartości [ -1, 1 ]

n

i

n

i

ii

n

i

ii

xy

yyxx

yyxx

r

1 1

22

1

Copyright ©2018, Joanna Szyda

Page 6: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

0

5

10

15

20

0 5 10 15 20

y

x

WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady

0

5

10

15

20

0 5 10 15 20

y

x

0

5

10

15

20

0 5 10 15 20

y

x

0

5

10

15

20

0 5 10 15 20

y

x

rxy= -1 rxy= -0.9

rxy= -0.5 rxy= 1

Copyright ©2018, Joanna Szyda

Page 7: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

1

6

11

16

21

26

3 7 11 15 19

y

x

rxy= 0.816

WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady

1

6

11

16

21

26

3 7 11 15 19

y

x

rxy= 0.816

1

6

11

16

21

26

3 7 11 15 19

y

x

rxy= 0.816

1

6

11

16

21

26

3 7 11 15 19

y

x

rxy= 0.816

Copyright ©2018, Joanna Szyda

Page 8: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

PRÓBA DANYCH

MASA

CIAŁA

ZAW.

TŁUSZCZU

89 28

88 27

66 24

59 23

93 29

73 25

82 29

77 25

100 30

67 23

r = 0.94

WSPÓŁCZYNNIK KORELACJI PEARSONA - przykłady

Copyright ©2018, Joanna Szyda

Page 9: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI PEARSONA - testowanie

1. Hipotezy

• H0: brak korelacji między masą ciała, a zaw. tłuszczu

• H1: istnieje korelacja między masą ciała, a zaw. tłuszczu

• H0: r = 0 H1: r 0

2. Założone maksymalne prawdopodob. błędu aMAX = 0.01

3. Test:

4. Prawdopodobieństwo błędu dla t=7.47 wynosi aT=0.00007

5. aMAX > aT

6. H1

7. Występuje dodatnia korelacja między masą ciała, a zawartością tłuszczu

Copyright ©2018, Joanna Szyda

𝑡 =𝑟 𝑛 − 2

1 − 𝑟2~𝑡𝑛−2

Page 10: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI WIELOKROTNEJ - definicja

1. Miara jak daną zmienną można przewidzieć stosując liniową funkcję innych zmiennych

2. Mierzy jedynie siłę lecz nie kierunek zmian

3. Wartości [ 0, 1 ]

Copyright ©2018, Joanna Szyda

Page 11: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI SPEARMANA

Copyright ©2018, Joanna Szyda

Page 12: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI SPEARMANA - definicja

1. Miara zależności pomiędzy 2ma zmiennymi (x,y)

2. Brak założeń dotyczących rozkładu zmiennych

3. Brak założeń dotyczących liniowej zależności

pomiędzy zmiennymi

4. Mierzy zależność monotoniczną

5. Wykorzystuje ranking obserwacji

6. Wartości [ -1, 1 ]

1

6

12

1

2

NN

dn

i

i

xy

różnica w rankingu

zmiennych x i y

Copyright ©2018, Joanna Szyda

Page 13: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

1

6

11

16

21

26

3 7 11 15 19

y

x

WSPÓŁCZYNNIK KORELACJI SPEARMANA - przykłady

1

6

11

16

21

26

3 7 11 15 19

y

x

1

6

11

16

21

26

3 7 11 15 19

y

x

1

6

11

16

21

26

3 7 11 15 19

y

x

xy= 0.818

xy= 0.991

xy= 0.691

xy= 0.500

Copyright ©2018, Joanna Szyda

Page 14: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

PRÓBA DANYCH

1. 18 samców Fregata magnificens

2. Powiązanie objętości worka z częstotliwością wydawanego dźwięku

objętość

[cm3]

częstotliwość

[Hz]

1760 529

2040 566

2440 473

2550 461

2730 465

2740 532

3010 484

3080 527

3370 488

3740 485 = - 0.76

WSPÓŁCZYNNIK KORELACJI SPEARMANA- przykłady

Copyright ©2018, Joanna Szyda

Page 15: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI SPEARMANA - testowanie

1. Hipotezy

• H0: brak korelacji między objętością, a częstotliwością

• H1: istnieje korelacja między objętością, a częstotliwością

• H0: = 0 H1: 0

2. Założone maksymalne prawdopodob. błędu aMAX = 0.01

3. Test:

4. Prawdopodobieństwo błędu dla t=-4.68 wynosi aT=0.00019

5. aMAX > aT

6. H1

7. Występuje ujemna korelacja między objętością worka, a częstotliwością dźwięku

22

~1

2

Nt

Nt

Copyright ©2018, Joanna Szyda

Page 16: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK KORELACJI PEARSONA vs. SPEARMANA

x y x y x y x y x y x y

1 3 1 1 1 0 1 1 1 10 1 10

2 4 2 2 2 3 2 2 2 8 2 6

3 5 3 3 3 3.6 3 3 3 7 3 4

4 6 4 4 4 3.7 4 4 4 6.5 4 3

5 7 5 5 5 3.9 5 5 5 6 5 1

6 8 6 6 6 4 6 6 6 6.4 6 2

7 9 7 7 7 4.1 7 7 7 7.1 7 5

8 10 8 8 8 4.2 8 8 8 8 8 6

9 11 9 9 9 9 9 9 9 8.5 9 8

10 12 10 10 10 14 10 10 10 9 10 9

P S P S P S

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11

y

x

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11

y

x

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11

y

x

Copyright ©2018, Joanna Szyda

Page 17: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

INNE MIARY KORELACJI

Copyright ©2018, Joanna Szyda

Page 18: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK TAU (Kendall)

Copyright ©2018, Joanna Szyda

𝜏 =𝑛𝑐 − 𝑛𝑑𝑛(𝑛 − 1)

2objętość

[cm3]

częstotliwość [Hz]

Ranga 1 Ranga 2#

zgodnych rang

# niezgodnych rang

1760 529 1 16 2 15

2040 566 2 18 0 162440 473 3 10 6 92550 461 4 7 7 6

2730 465 5 8 6 62740 532 6 17 9 12

3010 484 7 12 3 83080 527 8 15 0 10

3370 488 9 14 0 93740 485 10 13 0 84910 478 11 11 0 75090 434 12 5 1 45091 468 13 9 0 55380 449 14 6 0 45850 425 15 4 0 36730 389 16 1 2 06990 421 17 3 0 17960 416 18 2

Suma rang 36 123

𝜏 =36 − 123

18(18 − 1)2

𝜏 = −0.57

• Miara korelacji oparta na rangach• 𝜏 ∈ [−1,1]

Page 19: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK TAU (Kendall)

Copyright ©2018, Joanna Szyda

1. Hipotezy

• H0: brak korelacji między objętością, a częstotliwością

• H1: istnieje korelacja między objętością, a częstotliwością

• H0: t= 0 H1: t 0

2. Założone maksymalne prawdopodob. błędu aMAX = 0.01

3. Test:

4. Prawdopodobieństwo błędu dla z=-3.30 wynosi aT=0.001

5. aMAX > aT

6. H1

7. Występuje ujemna korelacja między objętością, a częstotliwością

𝑧 =𝜏 − 0

2(2𝑛 + 5)9𝑛(𝑛 − 1)

=−0.57

0.17= −3.30 ~𝑁(0,1)

Page 20: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

WSPÓŁCZYNNIK GAMMA (Goodman i Kruskal)

Copyright ©2018, Joanna Szyda

𝛾 =𝑛𝑐 − 𝑛𝑑𝑛𝑐 + 𝑛𝑑

• Miara korelacji oparta na rangach

• Podobna do t• 𝛾 ∈ [−1,1]

3. Test:

4. Prawdopodobieństwo błędu dla z=-3.17 wynosi aT=0.002

5. aMAX > aT

6. H1

7. Występuje ujemna korelacja między objętością, a częstotliwością

𝑧 =3𝛾 𝑛(𝑛 − 1)

2(2𝑛 + 5)=3 ∙ −0.55 ∙ 17.49

9.06= −3.17 ~𝑁(0,1)

Page 21: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

Copyright ©2018, Joanna Szyda

LITERATURA

Page 22: STATYSTYKA MATEMATYCZNA - theta.edu.pltheta.edu.pl/wp-content/uploads/2018/05/statystykamatematyczna_1... · Regresja liniowa 8. Regresja nieliniowa 9. Określenie jakości dopasowania

1. Korelacja liniowa Pearsona• obliczanie• testowaie• korelacja wielokrotna

2. Korelacja rangowa Spearmana• obliczanie• Testowanie

3. Inne miary korelacji