Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 1/30

Uvod v Bayesovsko statistiko

Gregor Gorjancgregor.gorjanc@bfro.uni-lj.si

http://www.bfro.uni-lj.si/MR/ggorjan/

UL, Biotehniška fakulteta, Oddelek za zootehniko

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 2/30

Literatura■ uvod

Bolstad W.M. 2004. Introduction to Bayesian statistics.John Wiley & Sons, Hoboken, New Jersey

■ prakticen pristopGelman A., Carlin J.B., Stern H.S., Rubin D.B. 2004.Bayesian data analysis. Texts in statistical science.Chapman & Hall / CRC, 2nd edition

■ nazoren primer uporabe apriorne porazdelitveGelman A. 2002. Prior distribution. V: Encyclopedia ofEnvironmetrics, John Wiley & Sons, Vol. 3, 1634–1637

■ uporaba MCMCGilks W.R., Richardson S., Spiegelhalter D.J. (ur.) 1998.Markov Chain Monte Carlo in practice. Chapman & Hall /CRC

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 3/30

Pregled■ Prednosti in nekaj slabosti, razvoj

■ Thomas Bayes

■ Uporaba Bayesovega izreka na primeru

■ Bayesovska statistika

■ Apriorna porazdelitev

■ MCMC

■ Programska oprema

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 4/30

Prednosti in nekaj slabosti■ le eno “orodje” - Bayesov izrek■ verjetnost in intervali zaupanja■ Bayesovski pristop pogosto “prekosi” frekvencisticnega■ moteci parametri■ napovedovanje

■ predhodno znanje in objektivnost

■ uporaba v praksi otežena zaradi težav pri izracunih -veckratni integrali

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 5/30

Razvoj■ 18. stol. Bayes

■ 19. stol. Laplace in sodobniki

■ zacetek 20. stol. uporaba/ideja zamre

■ sredina 20. stol. De Finetti, Jeffreys, Savage, Lindley, . . .

■ razcvet v zadnjih ∼25 letih

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 6/30

Thomas Bayes 1702-1761

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 7/30

Bayesov izrek■ pogojna verjetnost

P (A|B) =P (A ∩ B)

P (B)

■ skupna verjetnost

P (A ∩ B) = P (A|B)P (B)

= P (B|A)P (A)

■ Bayesov izrek

P (A|B) =P (B|A)P (A)

P (B)

■ velja tudi za vec izidov (k) za dogodek

P (Aj |Bi) =P (Bi|Aj)P (Aj)

∑kj=1 P (Bi|Aj)P (Aj)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 8/30

Primer■ Pogostost bolezni v populaciji znaša 0.008. Za to bolezen

imamo na voljo test. Kolikšna je verjetnost, da imanakljucno izbran posameznik bolezen, ce je test pozitiven?

■ Dogodki (zapis)◆ T - rezultat testa (-, +)◆ B - prisotnost bolezni (ne, da)

■ Možni scenariji◆ T = −, B = ne OK◆ T = +, B = ne lažno pozitiven rezultat◆ T = −, B = da lažno negativen rezultat◆ T = +, B = da OK

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 9/30

Primer - popoln test■ test je popoln - brez napak/nezaupanja■ “veljavnost” testa:

◆ P (T = −|B = ne) = 1.00◆ P (T = +|B = ne) = 0.00◆ P (T = −|B = da) = 0.00◆ P (T = +|B = da) = 1.00

■ Bayesov izrek

P (B|T ) =P (T |B)P (B)

P (T )

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 10/30

Primer - popoln test, rezultat

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)

■ rabimo še P (B = da) - verjetnost za bolezen, kar jepravzaprav pogostost bolezni v populaciji 0.008

P (B = da|T = +) =1.00 × 0.008

1.00 × 0.008 + 0.00 × 0.992= 1.00

■ nic novega :( popoln test ⇒ popolni rezultati

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 11/30

Primer - nepopoln test■ realnost: test ni popoln - z napakami/nezaupanjem

◆ lažno pozitivni rezultat v 10 % in◆ lažno negativni rezultat v 5 %.

■ “veljavnost” testa:◆ P (T = −|B = ne) = 0.9◆ P (T = +|B = ne) = 0.05◆ P (T = −|B = da) = 0.1◆ P (T = +|B = da) = 0.95

■ verjetnost za bolezen predhodno (brez testa) znaša

P (B = da) = 0.008

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 12/30

Primer - nepopoln test, rezultat■ Bayesov izrek združi predhodno znanje in rezultate testa -

Bayesovsko ucenje:

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)

=0.95 × 0.008

0.95 × 0.008 + 0.1 × 0.992= 0.0712

■ ali bi zaupali takšnemu testu?

■ ce imamo še en test

P (B = da|T2 = +) = 0.4212 P (B = da|T2 = −) = 0.0084

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 13/30

Primer - nepopoln test, 1000 testov■ zakaj?

Table 1: Rezultati za 1000 testov

Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj

Zdrav (ne) 99 893 992

Bolan (da) 7 1 8

Skupaj 106 894 1000

■ napaka/nezaupanje v test se preko Bayesovega izrekaprenese v rezultat

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 14/30

Primer - nepopoln test, P (B = da) = 0.2

■ ampak, ce poznam P (B = da), potem vem, kdo je in kdo nibolan!

■ vpliv P (B = da)◆ P (B = da) = 0.008 ⇒ P (B = da|T = +) = 0.0712◆ P (B = da) = 0.2 ⇒ P (B = da|T = +) = 0.7037

Table 2: Rezultati za 1000 testov pri P (B = da) = 0.2

Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj

Zdrav (ne) 80 720 800

Bolan (da) 180 20 200

Skupaj 260 740 1000

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 15/30

Primer - nepopoln test, vpliv P (B = da)

0.0 0.2 0.4 0.6 0.8 1.0

0.00.2

0.40.6

0.81.0

P(B=da)

P(B=

da|T

=+)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 16/30

Prehod . . .■ Bayesov izrek

P (B|T ) =P (T |B)P (B)

P (T )

■ parametri in podatki?◆ podatki (yi, i = 1, . . . , n): rezultati testa◆ parametri (θj): prisotnost bolezni

f(θj |yi) =f(yi|θj) × f(θj)

∑nj=1 f(yi|θj) × f(θj)

=f(yi|θj) × f(θj)

f(yi)

■ f(θj |yi) - posteriorna verjetnost■ f(yi|θj) - verjetje L(θj |yi)

■ f(θj) - apriorna verjetnost■ f(yi) - robna verjetnost podatkov (konst. za normalizacijo)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 17/30

Bayesovska statistika■ podatki (y): rezultati testa■ parametri (θ): prisotnost bolezni

f(θ|y) =f(y|θ) × f(θ)

f(y)

f(y) = konst.

f(θ|y) ∝ f(y|θ) × f(θ)

∝ L(θ|y) × f(θ)

“posterior ∝ likelihood × prior”

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 18/30

Primer■ Naredimo n testov na nakljucno izbranih posameznikih iz

populacije. Kolikšen je delež obolelih v populaciji?■ število pozitivnih: Y ∼ Bin(n, θ)

■ delež obolelih: θ

■ gostota verjetnosti f(y|θ) in verjetje L(θ|y)

f(y|θ) =

(

n

y

)

θy (1 − θ)n−y, L(θ|y) =

(

n

y

)

θy (1 − θ)n−y

■ apriorna verjetnost/porazdelitev: f(θ) =???

■ Bayesov izrek

f(θ|y) ∝ L(θ|y) × f(θ)

f(θ|y) =L(θ|y) × f(θ)

f(y)=

L(θ|y) × f(θ)∫ 10 f(y|θ) × f(θ)dθ

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 19/30

Primer - enakomerna apriorna p.■ apriorna porazdelitev: f(θ) = konst.

f(θ|y) =L(θ|y) × konst.

∫ 10 f(y|θ) × konst.dθ

∝ L(θ|y)

f(θ|y) ∝

(

n

y

)

θy (1 − θ)n−y

∝ θy (1 − θ)n−y

■ “after the inspection beta distribution can be recognized”

X ∼ Be(a, b), fx(x) =1

B(a, b)xa−1(1 − x)b−1, 0 ≤ x ≤ 1

θ|y ∼ Be(y + 1, n − y + 1)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 20/30

Primer - f (θ|y = 30, n = 50)

θ

Gosto

ta

0.0 0.2 0.4 0.6 0.8 1.0

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 21/30

Primer - f (θ|y = 30, n = 50) povzetek■ Bayesovski pristopa

◆ E(θ) = 0.596◆ Me(θ) = 0.597◆ Mo(θ) = 0.600◆ SE(θ) = 0.067◆ θ(2.5 %, 97.5 %) = (0.461, 0.724)

■ frekvencisticen pristopa

◆ θ = 0.600◆ SE(θ) = 0.069

aglej v izvorno kodo za enacbe/izracun

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 22/30

Primer - konjugirana apriorna p.■ konjugirana apriorna porazdelitev ima enako obliko kot

posteriorna porazdelitev

θ ∼ Be(a, b), fθ(θ) =1

B(a, b)θa−1(1 − θ)b−1, 0 ≤ θ ≤ 1

f(θ|y) ∝ θy (1 − θ)n−y × θa−1(1 − θ)b−1

∝ θa+y−1 (1 − θ)b+n−y−1

θ|y ∼ Be(a + y + 1, b + n − y − 1)

a, b =???

■ parametra a in b dolocata obliko apriorne porazdelitve in jupotrebujemo!

■ !?*+-#% . . .

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 23/30

Primer - Be(a = 1 : 3, b = 1 : 3)

Be(0.5, 0.5)

θ

Gosto

ta

0.0 0.4 0.8

Be(0.5, 1)

θGo

stota

0.0 0.4 0.8

Be(0.5, 2)

θ

Gosto

ta

0.0 0.4 0.8

Be(0.5, 3)

θ

Gosto

ta

0.0 0.4 0.8

Be(1, 0.5)

θ

Gosto

ta

0.0 0.4 0.8

Be(1, 1)

θ

Gosto

ta

0.0 0.4 0.8

Be(1, 2)

θ

Gosto

ta

0.0 0.4 0.8

Be(1, 3)

θ

Gosto

ta

0.0 0.4 0.8

Be(2, 0.5)

θ

Gosto

ta

0.0 0.4 0.8

Be(2, 1)

θ

Gosto

ta

0.0 0.4 0.8

Be(2, 2)

θ

Gosto

ta

0.0 0.4 0.8

Be(2, 3)

θ

Gosto

ta

0.0 0.4 0.8

Be(3, 0.5)

θ

Gosto

ta

0.0 0.4 0.8

Be(3, 1)

θ

Gosto

ta

0.0 0.4 0.8

Be(3, 2)

θ

Gosto

ta

0.0 0.4 0.8

Be(3, 3)

θGo

stota

0.0 0.4 0.8

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 24/30

Primer - f (θ|y = 30, n = 50, a, b = (1, 3))

Be(1, 1)

θ

Gosto

ta

0.0 0.2 0.4 0.6 0.8 1.0

verjetjeapriorna p.posteriorna p.

Be(1, 3)

θ

Gosto

ta

0.0 0.2 0.4 0.6 0.8 1.0

verjetjeapriorna p.posteriorna p.

Be(3, 1)

θ

Gosto

ta

0.0 0.2 0.4 0.6 0.8 1.0

verjetjeapriorna p.posteriorna p.

Be(3, 3)

θ

Gosto

ta

0.0 0.2 0.4 0.6 0.8 1.0

verjetjeapriorna p.posteriorna p.

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 25/30

Apriorna porazdelitev

“Tisti, ki uporablja Bayesovsko statistiko, na podlaginejasnega/meglenega pricakovanja konja in bežnegapogleda na osla, trdno sklepa, da je videl mulo.” Senn

(1997).

Neinformativna apriorna p. ne obstaja. Celo enakomernaapriorna porazdelitev pravi, da so vse vrednosti enako

verjetne.

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 26/30

Apriorna porazdelitev■ ni vse tako “crno”■ obstajajo pristopi za izpeljavo t.i. neinformativnih apriornih

porazdelitev◆ Jefrreys-ove apriorne porazdelitve◆ referencne apriorne porazdelitve (Bernardo)◆ . . .

■ analiza obcutljivosti

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 27/30

MCMC■ pred ∼25 leti je bil Bayesovski pristop v primeru vecjega

števila parametrov prakticno “neuporaben”

f(θ|y) ∝ L(θ|y) × f(θ)

f(θi|θi−y) =

∫

θi−

L(θ|y) × f(θ)dθi−

■ reinkarnacija z metodami MCMC(Monte Carlo z Markovskimi verigami)

◆ Metropolis in Metropolis-Hastings◆ Gibbs◆ . . .

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 28/30

Programska oprema■ BUGS

◆ BUGS 1990-1996◆ WinBUGS 1996-2003http://www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml■ DoodleBUGS■ GeoBUGS■ PKBUGS

◆ OpenBUGS 2003-. . .http://mathstat.helsinki.fi/openbugs/

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 29/30

Programska oprema - BUGS primer■ en primer kode za BUGS – podobno prog. jeziku S# Podatki

list(y = c(rep(1, 30), rep(0, 20)), N = 50)

# Model

model

{

for (i in 1:N) {

y[i] ~ dbern(p)

}

p ~ dunif(0, 1)

}

# Zacetne vrednosti

list(p = 0.2)

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 30/30

Programska oprema - splošno II.■ R paketihttp://www.r-project.org/◆ bayesm, bayesmix , bayesSurv , bim, BMA, boa, BRugs,

bqtl , coda, EbayesThresh, eco, mcgibbsit , mcmc,MCMCpack , MNP, R2WinBUGS, rbugs, rv , UMACS,. . .

■ JAGS

http://www-fis.iarc.fr/~martyn/software/jags/

■ Hydra

http://research.warnes.net/projects/mcmc/hydra/

■ FBM

http://www.cs.utoronto.ca/~radford/fbm.software.html