profesor milan merkle [email protected] milanmerkle.etf.rs...

Uslovna verovatnoca i nezavisnost

Profesor Milan [email protected] milanmerkle.etf.rs

Verovatnoca i Statistika-prolece 2018

Milan Merkle Uslovna verovatnoca ETF Beograd 1 / 18

Uslovna verovatnoca-1

Verovatnoca je mera izvesnosti dogadaja.

Pre nego sto bacimo kocku, smatramo da je P(3) = 1/6(jednakoverovatni ishodi, ne znamo nista vise).

Kad je kocka vec bacena i znamo ishod - na primer, ako je palasestica, onda P(3) = 0, . . . ,P(6) = 1.

Sta ako smo izmedu potpunog neznanja i potpunog znanja?

Definicija. Uslovna verovatnoca dogadaja A pod uslovom da je realizovandogadaj B nalazi se po formuli

P(A | B) =P(AB)

Zasto bas tako?

Primer: Pri bacanju homogene kocke izracunati P(3 |B), gde je Bdogadaj da je pao neparan broj.

Definicija. Uslovna verovatnoca dogadaja A pod uslovom da je realizovandogadaj B nalazi se po formuli

P(A | B) =P(AB)

Zasto bas tako?

Primer: Pri bacanju homogene kocke izracunati P(3 |B), gde je Bdogadaj da je pao neparan broj.

Nezavisnost

Za dogadaje A i B kazemo da su nezavisni ako informacija da sedogodio dogadaj B ne menja verovatnocu dogadaja A, i obrnuto.

To znaci da je

P(A | B) = P(A) i P(B | A) = P(B)

Odavde jeP(AB) = P(A)P(B)

Kaze se da su dogadaji A i B stohasticki nezavisni (ili nezavisni umodelu) ako i samo ako vazi ovo pravilo mnozenja.

Nezavisnost

To znaci da je

P(A | B) = P(A) i P(B | A) = P(B)

Nezavisnost

To znaci da je

P(A | B) = P(A) i P(B | A) = P(B)

Nezavisnost

To znaci da je

P(A | B) = P(A) i P(B | A) = P(B)

Da li su dogadaji A i B nezavisni?

Ako imamo verovatnoce elementarnih dogadaja ispitivanje nezavisnostidogadaja svodi se samo na proveravanje pravila mnozenja.Primer 37: dva novcica.

Slika 8. Model bacanja dva novcica pri kome ishodi prvog i drugogbacanja nisu nezavisni.

Kako napraviti model u kome su odredeni dogadajinezavisni?

Ako treba napraviti model u kome su neki dogadaji nezavisni, verovatnocedefinisemo tako da vazi pravilo mnozenja.

Zadatak 29: U modelu za bacanje dva novcica,

P(P1P2) = a, P(P1G2) = b, P(G1P2) = c , P(G1G2) = d ,

gde a, b, c , d ∈ (0, 1) i a + b + c + d = 1, ishodi prvog i drugog bacanja sunezavisni dogadaji ako i samo ako je bc = ad .

Kako napraviti model u kome su odredeni dogadajinezavisni?

Ako treba napraviti model u kome su neki dogadaji nezavisni, verovatnocedefinisemo tako da vazi pravilo mnozenja.

Zadatak 29: U modelu za bacanje dva novcica,

P(P1P2) = a, P(P1G2) = b, P(G1P2) = c , P(G1G2) = d ,

gde a, b, c , d ∈ (0, 1) i a + b + c + d = 1, ishodi prvog i drugog bacanja sunezavisni dogadaji ako i samo ako je bc = ad .

Nezavisnost - za ≥ 3 dogadaja

Za n > 2 dogadaja kazemo da su nezavisni ako pravilo proizvoda vazi zasvaku kombinaciju od 2, 3, . . . , n dogadaja. Na primer, dogadaji A,B,C ,Dsu nezavisni ako vazi:

P(AB) = P(A)P(B), P(AC ) = P(A)P(C ), . . . P(CD) = P(C )P(D)

P(ABC ) = P(A)P(B)P(C ), . . .P(BCD) = P(B)P(C )P(D)

P(ABCD) = P(A)P(B)P(C )P(D)

Nezavisni u celini =⇒ Nezavisni u parovima; obrnuto ne vazi- Primer 39

Uslovne verovatnoce kao alat za resavanje dvostepenihproblema

Definicija uslovne verovatnoce P(B | A) = P(AB)/P(A) moze se napisatiu obliku

P(AB) = P(A)P(B | A),

sto omogucava racunanje P(AB) ako su P(A) i P(B | A) poznati.

Primer 40+. U kutiji imamo 3 bele i 7 crnih kuglica. Kuglice se izvlacena slucajan nacin. a) Naci verovatnocu da je u prvom izvlacenju izvucenabela, a u drugom crna kuglica. b) Izracunati verovatnocu da je drugaizvucena kuglica bela.[c) Ako se izvlaci 10 kuglica bez vracanja, naciverovatnocu da je prva bela a deseta crna.]

Uslovne verovatnoce kao alat za resavanje dvostepenihproblema

Definicija uslovne verovatnoce P(B | A) = P(AB)/P(A) moze se napisatiu obliku

P(AB) = P(A)P(B | A),

sto omogucava racunanje P(AB) ako su P(A) i P(B | A) poznati.

Primer 40+. U kutiji imamo 3 bele i 7 crnih kuglica. Kuglice se izvlacena slucajan nacin. a) Naci verovatnocu da je u prvom izvlacenju izvucenabela, a u drugom crna kuglica. b) Izracunati verovatnocu da je drugaizvucena kuglica bela.[c) Ako se izvlaci 10 kuglica bez vracanja, naciverovatnocu da je prva bela a deseta crna.]

Visestepeni problemi preko uslovnih verovatnoca

Matematickom indukcijom:

P(A1A2 · · ·An) = P(A1)P(A2|A1)P(A3|A1A2) · · ·P(An|A1A2 · · ·An−1)

Primer 41+. Ivan ima pet kljuceva od kojih samo jedan otvara bravu. Onproba nasumice jedan po jedan kljuc sve dok ne otvori bravu. Naciverovatnocu da ce biti potrebno k pokusaja (k = 1, . . . , 5), ako se kljuceviprobaju a) bez vracanja; b) sa vracanjem.

Visestepeni problemi preko uslovnih verovatnoca

Matematickom indukcijom:

P(A1A2 · · ·An) = P(A1)P(A2|A1)P(A3|A1A2) · · ·P(An|A1A2 · · ·An−1)

Primer 41+. Ivan ima pet kljuceva od kojih samo jedan otvara bravu. Onproba nasumice jedan po jedan kljuc sve dok ne otvori bravu. Naciverovatnocu da ce biti potrebno k pokusaja (k = 1, . . . , 5), ako se kljuceviprobaju a) bez vracanja; b) sa vracanjem.

Bernulijevi opiti

Veoma vazno! Niz ponavljanja statistickog eksperimenta:

Eksperiment ima 2 moguca ishoda (uspeh-neuspeh, 0-1, . . . )

Ponovljeni eksperimenti su medusobno nezavisni.

Svodi se na niz nula i jedinica, P(1) = p i P(0) = 1− p na svakom mestu,nezavisno.

Zadatak: Naci verovatnocu da u nizu od n Bernulijevih opita imamo kuspeha (k=0,1,. . . ,n)

Resenje. Ako je X broj uspeha, onda je P(X = n) =(nk

)pk(1− p)n−k .

Bernulijevi opiti

)pk(1− p)n−k .

Bernulijevi opiti

)pk(1− p)n−k .

Bernulijevi opiti

)pk(1− p)n−k .

Bernulijevi opiti

)pk(1− p)n−k .

Bernulijevi opiti

)pk(1− p)n−k .

Podsetimo se nekih osobina binomnih koeficijenata:(n

k!(n − k)!,

n − k

(n − 1

k − 1

(n − 1

n∑k=0

)= 2n.

Formula totalne verovatnoce

Posmatramo dvostepeni problem, na primer izvlacenje dve kuglice iz kutijesa kuglicama n boja.

Neka su H1, . . . ,Hn svi moguci ishodi u prvom opitu dvostepenogproblema (u nasem primeru to su boje prve izvucene kuglice)

Neka je A dogadaj koji moze da se dogodi u sledecem koraku.Verovatnoca dogadaja A moze da se izracuna na sledeci nacin:

P(A) = P(H1A) + P(H2A) + · · ·+ P(HnA) =n∑

P(A | Hi )P(Hi )

Ovo je formula totalne verovatnoce. Vec smo je dva puta koristili, uprimerima 37 i 40b.

P(A) = P(H1A) + P(H2A) + · · ·+ P(HnA) =n∑

P(A | Hi )P(Hi )

P(A) = P(H1A) + P(H2A) + · · ·+ P(HnA) =n∑

P(A | Hi )P(Hi )

Bajesova formula-primer

Primer 47. Kutija B sadrzi 95 belih i pet crnih kuglica, a kutija C 90crnih i 10 belih. Kutije su identicne i nisu obelezene. Na slucajan nacinbira se jedna kutija i iz nje se izvlaci jedna kuglica. Ako je izvucena kuglicabela, naci verovatnocu da je izabrana kutija B.

B~D ~ D'

~D' Slika 14.

R: P(B | D) = 0.905Milan Merkle Uslovna verovatnoca ETF Beograd 13 / 18

Bajesova formula - opsti slucaj

U statistickom eksperimentu imamo n mogucih ishoda (hipoteza) Hi ,i = 1, . . . , n, cije su verovatnoce poznate -apriorne verovatnoce, a nijepoznato koji se ishod dogodio (nisu opservabilni ishodi).

U sledecem koraku odvija se novi eksperiment u kome se dogadadogadaj D i on je opservabilan. Poznate su uslovne verovatnoceP(D | Hi ).

Znajuci da se dogodio dogadaj D, treba naci uslovne verovatnoceP(Hi | D) - aposteriorne verovatnoce.

Bajesova formula:

P(Hi | D) =P(HiD)

P(HiD)∑nj=1 P(Hj)P(D | Hj)

, i = 1, . . . , n.

Bajesova formula:

P(Hi | D) =P(HiD)

, i = 1, . . . , n.

Bajesova formula:

P(Hi | D) =P(HiD)

, i = 1, . . . , n.

Bajesova formula:

P(Hi | D) =P(HiD)

, i = 1, . . . , n.

Bajesova formula - primena u klasifikaciji

Primer 48. Binarni signal moze biti tipa A, B, C sa verovatnocama 1/2,1/3 i 1/6 respektivno. Signal tipa A, sadrzi u proseku 20% jedinica, signaltipa B sadrzi 30% jedinica, dok signal tipa C sadrzi prosecno 40%jedinica. Primljen je signal od 10 znakova od kojih su 4 jedinice. Odreditiverovatnoce da je signal tipa A, B i C .

Slika 15.

R: P(A | D) = 0.289, P(B | D) = 0.437, P(C | D) = 0.274.Milan Merkle Uslovna verovatnoca ETF Beograd 15 / 18

Bajesovske iteracije

+ Bajesova formula daje poboljsanje apriornih verovatnoca (kojepredstavljaju relativne frekvencije u zamisljenom beskonacnomponavljanju eksperimenta) pomocu rezultata stvarnog eksperimenta.

− Ovaj metod ne moze da radi bez apriornih verovatnoca, i ako ihnemamo onda uzimamo subjektivne verovatnoce. Na taj nacinrezultat zavisi od pocetnih verovatnoca koje mogu biti i proizvoljne

+ Ako se ponovi ceo postupak dovoljno veliki broj puta uzimajuci zaapriorne verovatnoce aposteriorne iz prethodnog koraka, jedna odaposteriornih verovatnoca je ∼ 1 a ostale su ∼ 0, sto dovodi doklasifikacije.

Primer 49.

Sa postavkom iz primera 48, uzimajuci da je signal tipa A, uradena jesimulacija Bajesovskih iteracija do koraka u kome se dobija jednaverovatnoca > 0.99. Kriterijum je postignut u desetom koraku:

Iter. Broj Aposteriorne verovatnocebr. jedinica A B C

1 1 0.6245 0.2817 0.0938

2 2 0.7098 0.2475 0.0427

3 0 0.9131 0.0838 0.0031

4 3 0.8887 0.1080 0.0032

5 0 0.9688 0.0310 0.0002

6 1 0.9858 0.0142 0.0000

7 3 0.9812 0.0188 0.0000

8 1 0.9914 0.0085 0.0000

9 3 0.9887 0.0113 0.0000

10 2 0.9912 0.0088 0.0000

Za vezbanje: Primer 50, zadaci 29-55, 233-244

profesor milan merkle [email protected] milanmerkle.etf.rs...

Documents