statystyka matematyczna. wykład ii. · 6= σ2 estymator wariancji s2 1 s2 1 = 1 n−1 xn i=1 x...

Rozkłady zmiennych losowychEstymatory

Metoda największej wiarygodnościMetoda momentów.

Statystyka matematyczna. Wykład II.

Estymacja punktowa

Edward Kozłowski

e-mail:[email protected]

Edward Kozłowski Estymacja punktowa



Spis treści

1 Rozkłady zmiennych losowychRozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych

2 Estymatory

3 Metoda największej wiarygodności

4 Metoda momentów.




Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych

Rozkład zmiennej losowej dyskretnej

Niech (Ω,F ,P) będzie przestrzenią probabilistyczną. Rozkłademskokowej zmiennej losowej X nazywamy prawdopodobieństwo tego, żezmienna X może przybrać wartości xi, i = 1, 2, ...

P (ω1) = P (X = x1) = p1

............

P (ωk) = P (X = xk) = pk

..............

gdzie∑k

pk = 1.

Przestrzeń prawdopodobieństwa o skończonej lub przeliczalnej liczbiezdarzeń elementarnych nazywamy przestrzenią dyskretną.





Przykład.Ciąg pnn∈N

pn = e−λλn

n!dla n = 0, 1, 2, 3, ...

określa nam miarę probabilistyczną na zbiarze liczb naturalnych.

∞∑n=0

e−λλn

n!= e−λ

∞∑n=0

λn

n!= e−λeλ = 1

Przykład.Ciąg pnn∈N

pn = p (1− p)n−1 dla n = 1, 2, 3, ...

określa nam miarę probabilistyczną na zbiarze liczb naturalnych.

∞∑n=1

pn = p

∞∑n=1

(1− p)n−1 =p

1− (1− p)= 1





Rozkłady zmiennych losowych dyskretnych

Rokład równomierny

P (X = xi) =1n

gdzie x1, ..., xn realizacje zmiennych losowych.

EX =1n

n∑i=1

xi, DX =1n

n∑i=1

(xi − EX)2

Rokład zero-jedynkowy

P (X = 0) = q, P (X = 1) = p

gdzie q, p 0, q + p = 1 lub

P (X = x) = px (1− p)1−x

natomiastEX = p,DX = pq





Rozkłady zmiennych losowych dyskretnych

Rokład dwumianowy (Bernoulli’ego)

P (X = k) =(n

k

)pk (1− p)n−k

gdzie 0 ¬ p ¬ 1 oraz k = 0, 1, ..., n, natomiast

EX = np,DX = np (1− p)Rokład Poissone’a

P (X = k) = e−λλk

k!gdzie λ 1 oraz k = 0, 1, ..., natomiast

EX = λ,DX = λ

Rokład geometryczny

P (X = k) = p (1− p)k−1

gdzie 0 ¬ p ¬ 1 oraz k = 1, 2, ..., natomiast

EX =1p,DX =

1− pp2Edward Kozłowski Estymacja punktowa




Rozkład zmiennej losowej ciągłej

Jeżeli X jest zmienną losową ciągła, to P (X = x0) = 0 .Na (Ω,F ,P) rozkład zmiennej losowej X jest określony za pomocąfunkcji gęstości µ, przy czym

P (X < x) =

x∫−∞

µ (t) dt = F (x)

F (x)− F (x− 0) =

x∫x−0

µ (t) dt = 0

Wartością średnia zmiennej losowej X nazywamy wielkość

EX =∫xµ (x) dx,

natomiast wariancja nazywamy wielkość

DX = E (X − EX)2 =∫

(x− EX)2 µ (x) dx





Rozkład normalny

Funkcja gęstości zniemmej losowej X : Ω→ R o rozkładzie normalnymN (m,σ) jest dana wzorem

γ (x,m, σ) =1√2πσ

exp

[− (x−m)2

2σ

].

Wartość oczekiwana i wariancja zmiennej losowej X wynosząodpowiednio

EX = m, DX = σ2





Rozkład normalny

W przypadku wielowymiarowym: wekotr losowy ξ : Ω→ Rn ma rozkładnormalny N (m,Q), to funkcja gęstości ma postać

γ (x,m,Q) =1√

(2π)n det (Q)exp

[−1

2(x−m)T Q−1 (x−m)

].

Dla dowolnego λ ∈ R funkcję charakterystyczną zmiennej losowej Xmożemy przedstawić w postaci

Ψx (λ) = Ee−iλX = expiλm− λ2

2σ2





Rozkłady zmiennych losowych ciągłych

Rokład jednostajny na [a, b]

f (x) = 1

b−a x ∈ [a, b]0 x /∈ [a, b]

gdzie a < b, natomiast

EX =a+ b

2, DX =

112

(b− a)2

Rokład wykładniczy

f (x) = 1

λ exp(−xλ)

x 00 x < 0

gdzie λ > 0, natomiast

EX = λ,DX = λ2





Rozkłady zmiennych losowych ciągłych

Rokład Laplace’a

f (x) =1

2λexp

(−|x− µ|

λ

)gdzie λ > 0, µ ∈ R natomiast

EX = µ,DX = 2λ2

Rokład Cauchy;ego

f (x) =1π

λ

λ2 + (x− µ)2

gdzie λ > 0, µ ∈ R




Estymacja punktowa

Niech rozkład badanej cechy X populacji zależy od nieznanegoparametru θ, który należy oszacować w oparciu o n−elementową próbęprostą X1, ..., Xn.

Definicja 1

Funkcję g (X1, ..., Xn) będącą funkcją próby X1, ..., Xn nazywamystatystyką.

Widzimy że satystyka jest także zmienną losową, mającą także pewienrozkład zależny od postaci funkcji g () i od rozkładów zmiennychX1, ..., Xn .

Definicja 2

Statystykę θn (X1, ..., Xn) określa nam wartości nieznanego parametru θoraz nazywamy ją estymatorem parametru θ. Wartość estymatoraotrzymaną na podstawie jednej realizacji próby X1, ..., Xn nazywamyoceną parametru θ.




Oczywiście dla parametru θ można utworzyć wiele estymatorówθn (X1, ..., Xn), ale wraz ze zwiększeniem liczebności próbki powinnawzrastać dokładność oszacowania parametru θ.

Definicja 3

Estymator θn nazywamy estymatorem zgodnym z parametrem θ, jeżelidla dowolnego ε > 0

limn→∞

P(∣∣∣θn − θ∣∣∣ < ε

)= 1

Definicja 4

Estymator θn nazywamy estymatorem nieobciążonym parametru θ,jeżeli dla każdego n

Eθn = θ

oraz róznicęBn (θ) = Eθn − θ

nazywamy obciążeniem estymatora.




Definicja 5

W przypadku jeżeli

limn→∞

Bn (θ) = limn→∞

Eθn − θ = 0,

to estymator θn nazywamy estymatorem asymptotycznienieobciążonym parametru θ.

Dla jednego parametru θ może istnieć więcej niż jeden estymotornieobciążony. Jeżeli θ1n i θ2n są dwoma estymatorami nieobciążonymi

parametru θ oraz D2(θ1n

)< D2

(θ2n

)(gdzie D2 () oznacza wariancję

estymatora) to mówimy że θ1n jest estymatorem efektywniejszymparametru θ niż θ2n.

Definicja 6

Estymator nieobciążony θn parametru θ, który ma najmniejszą wariancjęwśród wszystkich nieobciążonych estymatorów wyznaczonych zn−elementowych prób, nazywamy estymatorem efektywnym.




Wariancja dowolnego nieobciążonego estymatora apełnia następującąnierówność zwaną nierównością Rao-Cramera

D2(θn

) 1

nE[∂∂θ ln f (X, θ)

]2gdzie f oznacza gęstość prawdopodobieństwa zmiennej losowej X wprzypadku zmiennej typu ciągłego lub funkcję prawopodobieńtwa dlazmiennej losowej typu skokowego. Jeżeli we wzorze zachodzi równośćwtedy estymator θn jet estymatoren efektywnym.

Definicja 7

Wielkość nE[∂∂θ ln f (X, θ)

]2nazywamy ilością informacji Fishera

zawartej w n−elementowej próbie, a nierówność Rao-Cramera nazywamynierównością informacyjną.




Własności:

1. Wartość przeciętna w próbce jest estymatorem nieobciążonym średniej

EX = E

(1n

n∑i=1

Xi

)=

1n

n∑i=1

EXi = m

natomiast

V ar(X)

= V ar

(1n

n∑i=1

Xi

)=

1n2

n∑i=1

V ar (Xi) =σ2

n

2. Moment główny rzędu k

mk =1n

n∑i=1

Xki

jest estymatorem nieobciążonym

Emk = E

(1n

n∑i=1

Xki

)=

1n

n∑i=1

EXki = EXk




3. W przypadku, gdy wartoś średnia populacji µ nie jest znana, toestymator wariancji S2

S2 =1n

n∑i=1

(Xi − X

)2jest jestymatorem obciążonym wariancji w populacji σ2, ponieważ

ES2 = E

[1n

n∑i=1

(Xi − X

)2]= E

[1n

n∑i=1

((Xi −m)−

(X −m

))2]

= E

[1n

n∑i=1

((Xi −m)2 − 2 (Xi −m)

(X −m

)+(X −m

)2)]

= E

[1n

n∑i=1

(Xi −m)2]− E

[2(X −m

) 1n

n∑i=1

(Xi −m)

]+ E

[1n

n∑i=1

(X −m

)2]

= E

[1n

n∑i=1

(Xi −m)2]− 2E

[(X −m

)2]+ E

[(X −m

)2]= E

[1n

n∑i=1

(Xi −m)2]− E

[(X −m

)2]= σ2 − V ar

(X),




a zatem

ES2 = σ2 − σ2

n=

(n− 1)σ2

n6= σ2

Estymator wariancji S21

S21 =1

n− 1

n∑i=1

(Xi − X

)2jest estymatorem nieobciążonym wariancji w populacji σ2 przy nieznanejwartości średniej µ w populacji.




4. W przypadku gdy wartość średnia populacji µ jest znana, to estymatorwariancji S2

S22 =1n

n∑i=1

(Xi −m)2

jest estymatorem nieobciążonym wariancji w populacji σ2,

ES2 = E

[1n

n∑i=1

(Xi −m)2]

= E

[1n

n∑i=1

X2i −2mn

n∑i=1

Xi +m2

]

=1n

n∑i=1

EX2i −2mn

n∑i=1

EXi +m2 = EX2 − 2m2 +m2 =

= EX2 − (EX)2 = V ar (X) = σ2




Metoda największej wiarygodności

Niech rozkład badanej cechy X zależy od parametrów θ1, θ2, ..., θk. Napodstawie n−elementowej próby prostej X1, ..., Xn, (n > k) tworzymyfunkcję wiarygodnośći

L (θ1, θ2, ..., θk) = f (X1; θ1, θ2, ..., θk) · ... · f (Xn; θ1, θ2, ..., θk)

=n∏j=1

f (Xj ; θ1, θ2, ..., θk) ,

gdzie f () oznacza gęstość prawdopodobieństwa zmiennej losowej X wprzypadku zmiennej typu ciągłego lub funkcję prawopodobieńtwa dlazmiennej losowej typu skokowego.Metoda największej wiarygodności polega na wyznaczeniu estymatorówθ1, θ2, ..., θk tak, aby funkcja wiarygodności L (θ1, θ2, ..., θk) przyjęławartość największą.




Funkcja lnL (θ1, θ2, ..., θk) osiąga wartość największą dla tych samychwartości parametrów co i funkcja L (θ1, θ2, ..., θk). Zadanie polega

maxθ1,θ2,...,θk

lnL (θ1, θ2, ..., θk) .

Warunek konieczny istnienia ekstremum jest postaci

∂

∂θjlnL (θ1, θ2, ..., θk) = 0 dla j = 1, ..., k

(wartości podejrzane o ekstremum θ1, θ2, ..., θk muszą spełniać tenwarunek). Jeżeli forma kwadratowa[

∂2

∂θi∂θjlnL (θ1, θ2, ..., θk)

]i,j=1,...k

w punkcie(θ1, θ2, ..., θk

)jest określona ujemnie, to

(θ1, θ2, ..., θk

)jest

rozwiązaniem zadania.




W przypadku k = 1 (rozkład zmiennej losowej X zależy tylko od jednegoparametru θ), wtedy funkcja wiarygodności jest postaci

L (θ) = f (X1; θ) · ... · f (Xn; θ) =n∏j=1

f (Xj ; θ)

natomiast wartość θ musi spełniać warunek

∂

∂θlnL (θ) = 0

oraz [∂2

∂θ2lnL (θ)

]θ=θ

< 0




Uwaga 1

Jeżeli badana cecha X zależy tylko od jednego parametru θ oraz istniejeestymator efektywny θ (X1, ..., Xn) to jest on jedymym rozwiązaniemwyznaczonym za pomocą największej wiarygodności. Jeżeli badana cechaX zależy więcej niż od jednego parametru to otzrymane stymatory zapomocą największej wiarygodności mogą być obciążone.

Ogólnie, estymatory uzyskane metodą największej wiarygodności sąestymatorami zgodnymi, asymtotycznie nieobciążonymi i asymptotycznieefektywnymi oraz mają rozkład asymptotycznie normalny, tzn. dla

n→∞ rozklad estymatora θ parametru θ jest N(θ; 1√

nE( ∂∂θ ln f)

2

)




Przykład 1

Niech badana cecha w populacji generalnej ma rozkład zero-jedynkowy,

P (X = x) = px (1− p)1−x

gdzie 0 ¬ p ¬ 1 oraz x = 0 ∨ 1. Na podstawie n− elementowej próbyx = (x1, ..., xn) korzystając z metody największej wiarygodnościoszacować parametr p.Tworzymy funkcję wiarygodnośći postaci

L (x, p) =n∏j=1

pxj (1− p)1−xj .




Logarytm naturalny z funkcji wiarygodności jest dany wzorem

lnL (x, p) =n∑j=1

[xj ln p+ (1− xj) ln (1− p)] ,

natomiast pochodna

∂

∂plnL (x, p) =

n∑j=1

[xjp− 1− xj

1− p

].

Przyrównując pochodną do zera otrzymujemy

p =1n

n∑j=1

xj .




Metoda momentów.

Metoda momentów polega na przyrównaniu pewnej liczby momentow zpróby (najczęściej kolejnych) do odpowiednich momentów rozkładu(będących funkcjami nieznanych parametrów). W tym celuwykorzystujemy tyle momentów ile jest nieznanych parametrów rozkładu,oraz rozwiązując otrzymany układ równań otrzymujemy oceny tychparametrów.Estymatory uzyskane metoda momentów na ogół nie są efektywne,niemniej jednak metoda momentów jest często używana ze względu naswoją prostotę. Oceny uzyskane tą metodą najczęściej wykorzystujemyjako pierwsze przybliżenie.




Przykład 2.

Niech badana cecha w populacji generalnej ma rozkład jednostajny na[a, b]

f (x) = 1

b−a x ∈ [a, b]0 x /∈ [a, b]

gdzie a < b Na podstawie n− elementowej próby x = (x1, ..., xn)korzystając z metody momentów oszacować parametry a i b. Podstawowemomenty dla rozkładu jednostajnego na [a, b] wynoszą

EX =a+ b

2, DX =

112

(b− a)2

Rozwiązując układ równańa+b2 = 1

n

n∑j=1

xj

112 (b− a)2 = 1

n

n∑j=1

(xj − X

)2otzrymujemy wielkości a i b.




Przykład 3.

Niech badana cecha w populacji generalnej ma rozkład Lasplace’a

f (x) =1

2λexp

(−|x− µ|

λ

)gdzie λ > 0, µ ∈ R Na podstawie n− elementowej próby x = (x1, ..., xn)korzystając z metody momentów oszacować parametry λ, µ. Podstawowemomenty dla rozkładu Laplace’a wynoszą

EX = µ,DX = 2λ2.




Rozwiązując układ równańµ = 1

n

n∑j=1

xj = X

2λ2 = 1n

n∑j=1

(xj − X

)2otzrymujemy

µ = 1n

n∑j=1

xj

λ =

√12n

n∑j=1

(xj − µ)2


statystyka matematyczna. wykład ii. · 6= σ2 estymator wariancji s2 1 s2 1 = 1 n−1 xn i=1 x...

Documents