modelos binomial e poisson - uspcmq.esalq.usp.br/bie5781/...poisson:06-aula-poisson... ·...

IntroducaoModelos binomiais

Modelos PoissonGLMs

ObjetivosMotivacao

Modelos Binomial e Poisson

Paulo Inacio Prado e Joao L.F. Batista

BIE5781 - Pos-Graduacao em Ecologia USP

setembro de 2012

Paulo Inacio Prado e Joao L.F. Batista Modelos Binomial e Poisson


Modelos PoissonGLMs

ObjetivosMotivacao

Objetivo da Aula

Os objetivos dessa aula sao:

1 Generalizar os modelos estatısticos com covariaveis paraoutras distribuicoes;

2 Exemplificar essas generalizacao com exemplos de modelosPoisson e binomial;

3 Mostrar os comandos basicos no R para ajustar e avaliar essesmodelos;

4 Demonstrar que alguns deles pertencem a classe dos modeloslineares generalizados.



Modelos PoissonGLMs

ObjetivosMotivacao

Onde estamos

Ate agora vimos:

Modelos de varias distribuicoes com parametrosconstantes:

Y ∼ N (µ = a0, σ = b0)

Y ∼ P(λ = a0)

· · ·Modelos Gaussianos com covariaveis:

Y ∼ N (µ = a0 + a1X1, σ = b0)

Y ∼ N(µ = a0 + a1X1 + a2X2, σ = eb0+b1X1

)· · ·



Modelos PoissonGLMs

ObjetivosMotivacao

Onde estamos

Ate agora vimos:


Y ∼ N (µ = a0, σ = b0)

Y ∼ P(λ = a0)

· · ·

Modelos Gaussianos com covariaveis:

Y ∼ N (µ = a0 + a1X1, σ = b0)

Y ∼ N(µ = a0 + a1X1 + a2X2, σ = eb0+b1X1

)· · ·



Modelos PoissonGLMs

ObjetivosMotivacao

Onde estamos

Ate agora vimos:


Y ∼ N (µ = a0, σ = b0)

Y ∼ P(λ = a0)

· · ·Modelos Gaussianos com covariaveis:

Y ∼ N (µ = a0 + a1X1, σ = b0)

Y ∼ N(µ = a0 + a1X1 + a2X2, σ = eb0+b1X1

)· · · Paulo Inacio Prado e Joao L.F. Batista Modelos Binomial e Poisson


Modelos PoissonGLMs

ObjetivosMotivacao

Para onde vamos

Hoje veremos modelos de outras distribuicoes com covariaveis:

Modelos Binomiais:

Y ∼ Bin(N = n, p = f (Xi))

Modelos Poisson:

Y ∼ P(λ = f (Xi))



Modelos PoissonGLMs

ObjetivosMotivacao

Ou seja

Uma expressao geral para modelos estatısticos

Y ∼ f (Y | Θ = f (Xi))

Em palavras

Y e uma variavel aleatoria, cujos valores tem probabilidadesdefinidas pela funcao de densidade f (Y ), cujos parametros Θ saouma funcao qualquer de covariaveis Xi .



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais

Descrevem numero de ocorrencia de uma variavel binaria emum certo numero de tentativas, em funcao de variaveispreditoras contınuas ou discretas.

Uteis principalmente quando temos:

Respostas binarias (regressao logıstica!)Proporcoes

Exemplos de respostas binomiais:

Presenca de alguma especie em manchas, fragmentos, sıtios;Ocorrencia de morte, doenca ou qualquer outro evento porindivıduoProporcao de frutos parasitadosExperimentos de dose-resposta



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais



Respostas binarias (regressao logıstica!)

Proporcoes





Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais








Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais





Presenca de alguma especie em manchas, fragmentos, sıtios;

Ocorrencia de morte, doenca ou qualquer outro evento porindivıduoProporcao de frutos parasitadosExperimentos de dose-resposta



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais





Presenca de alguma especie em manchas, fragmentos, sıtios;Ocorrencia de morte, doenca ou qualquer outro evento porindivıduo

Proporcao de frutos parasitadosExperimentos de dose-resposta



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais





Presenca de alguma especie em manchas, fragmentos, sıtios;Ocorrencia de morte, doenca ou qualquer outro evento porindivıduoProporcao de frutos parasitados

Experimentos de dose-resposta



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais








Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais

Forma geral:

Y ∼ Bin(N = n, p = f (a0 + a1Xi + . . .+ aiXi))

f (.) e chamada funcao de ligacao (detalhes a seguir)

Ela da propriedades boas ao modelo, incluindo garantir que pfique entre zero e um.



Modelos PoissonGLMs

IntroducaoExemplo

Modelos binomiais: um exemplo

Sobrevivencia de sementes colocadas as diferentes distanciasda arvore-mae

8 distancias, 3 replicas de 100 sementes

Resposta: numero de sobreviventes apos 60 dias:

> head(pred.seed)

distancia n.sobrev

1 0.0 3

2 0.0 4

3 0.0 5

4 0.5 1

5 0.5 3

6 0.5 3



Modelos PoissonGLMs

IntroducaoExemplo

Modelos binomiais: um exemplo

●●●

●

●●●●●●

●● ●●●

●

●

● ●

●

●

●

●

●

0 10 20 30 40 500.0

0.1

0.2

0.3

0.4

Distância da árvore−mãe

Pro

porç

ão s

obre

vive

nte



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Binomial: Funcao Logıstica

Nosso modelo e:

Y ∼ Bin(N = 100, p = f (distancia))

Que funcao usar para o efeito da distancia sobre p?

Uma funcao sigmoide limitada entre zero e um, como:

p =ea0+a1dist

1 + ea0+a1dist

o que implica em

ln

(p

1− p

)= a0 + a1dist



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Binomial: Funcoes logıstica e logit

p = ea+bX

1+ea+bX Y = ln(

p1−p

)

−6 −4 −2 0 2 4 6

0.0

0.2

0.4

0.6

0.8

1.0

X

Logí

stic

a(X

)

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

−6 −4 −2 0 2 4 6

−6

−4

−2

02

46

X

Logi

t(p)



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Binomial: Ajuste no R

Funcao de log-verossimilhanca negativa

> seed.LL1 <- function(a0,a1){

+ eta <- exp(a0+a1*pred.seed$distancia)/

+ (1+exp(a0+a1*pred.seed$distancia))

+ -sum(dbinom(pred.seed$n.sobrev,size=100,

+ p=eta, log=T))

+ }



Modelos PoissonGLMs

IntroducaoExemplo


Valores iniciais: regressao linear dos logitos

> p1 <- pred.seed$n.sobrev/100

> probito1 <- log(p1/(1-p1))

> (cf1 <- coef(lm(probito1~pred.seed$distancia)))

(Intercept) pred.seed$distancia

-3.28965673 0.05794648

Ajuste numerico

> seed.m1 <- mle2(seed.LL1,start=

+ list(a0=cf1[1],a1=cf1[2]))



Modelos PoissonGLMs

IntroducaoExemplo


Coeficientes

> (cf2 <- coef(seed.m1))

a0 a1

-3.20831983 0.05576851

Codigo do Grafico observado e estimado

> f1 <- function(x){exp(cf2[1]+cf2[2]*x)/

+ (1+exp(cf2[1]+cf2[2]*x))}

> plot(I(n.sobrev/100)~dist, data=pred.seed,

+ xlab="Distancia da arvore-m~ae",

+ ylab="Proporc~ao sobrevivente")

> curve(f1(x),add=T, col="blue")



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Binomial: Grafico previsto

●●●

●

●●●●●●

●● ●●●

●

●

● ●

●

●

●

●

●

0 10 20 30 40 500.0

0.1

0.2

0.3

0.4


Pro

porç

ão s

obre

vive

nte



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Binomial: Perfis de log-verossimilhanca

−3.6 −3.4 −3.2 −3.0

0

1

2

3

4

5

6

7

a0

Lo

g−

Ve

ross

imilh

an

ça N

eg

ativ

a R

ela

tiva

0.045 0.050 0.055 0.060 0.065 0.070

0

2

4

6

a1

Lo

g−

Ve

ross

imilh

an

ça N

eg

ativ

a R

ela

tiva



Modelos PoissonGLMs

IntroducaoExemplo

Modelo binomial: selecao de modelos

Modelo sem efeitos: log-verossimilhanca negativa

> seed.LL0 <- function(a0){

+ eta <- exp(a0)/(1+exp(a0))

+ -sum(dbinom(pred.seed$n.sobrev,

+ size=100,p=eta, log=T))

+ }

Modelo sem efeitos: uma LL mais simples

> seed.LL0 <- function(p){

+ -sum(dbinom(pred.seed$n.sobrev,size=100,

+ prob=p, log=T))

+ }



Modelos PoissonGLMs

IntroducaoExemplo

Modelo binomial: selecao de modelos

Ajuste do modelo sem efeito da distancia

> seed.m0 <- mle2(seed.LL0,

+ start=list(

+ p=sum(pred.seed$n.sobrev/2400)))

Comparacao com AIC

> AICtab(seed.m0,seed.m1, base=T)

AIC df dAIC

seed.m1 103.5 2 0.0

seed.m0 359.1 1 255.5



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Binomiais: Previstos pelos dois modelos

●●●

●

●●●●●●

●● ●●●

●

●

● ●

●

●

●

●

●

0 10 20 30 40 500.0

0.1

0.2

0.3

0.4


Pro

porç

ão s

obre

vive

nte



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson

Descrevem contagens em funcao de variaveis preditorascontınuas ou discretas.


contagens com medias baixasequivalencia entre media e variancia

Exemplos de respostas Poisson:

Numero de capturas, avistamentos, registros por unidade detempo ou espacoTaxas de ocorrencia de eventos



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson



contagens com medias baixas

equivalencia entre media e variancia





Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson








Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson





Numero de capturas, avistamentos, registros por unidade detempo ou espaco

Taxas de ocorrencia de eventos



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson








Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson

Forma geral:

Y ∼ P(λ = ea0+a1X1+...+aiXi

)

Portanto a funcao de ligacao mais usada e a logarıtmica:

ln(E [Y ]) = ln(λ) = a0 + a1X1 + . . .+ aiXi

Isso da propriedades boas ao modelo, incluindo evitar que λassuma valores negativos na otimizacao.



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson

Forma geral:

Y ∼ P(λ = ea0+a1X1+...+aiXi

)Portanto a funcao de ligacao mais usada e a logarıtmica:

ln(E [Y ]) = ln(λ) = a0 + a1X1 + . . .+ aiXi

Isso da propriedades boas ao modelo, incluindo evitar que λassuma valores negativos na otimizacao.



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson: um exemplo

Capturas de Pyriglena leucoptera em redes de neblina

20 fragmentos de diferentes tamanhos, 500 horas/rede

Resposta: numero de capturas

> head(aves)

area ncap

1 736 8

2 753 3

3 265 5

4 673 8

5 531 1

6 439 3



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: Grafico

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

5.0 5.5 6.0 6.5

0

2

4

6

8

Ln área do fragmento (ha)

N C

aptu

ras



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: Ajuste no R

Funcao de log-verossimilhanca negativa

> aves.LL1 <- function(a0,a1){

+ eta <- exp(a0+a1*log(aves$area))

+ -sum(dpois(aves$ncap,lambda=eta,

+ log=T))

+ }



Modelos PoissonGLMs

IntroducaoExemplo


Valores iniciais: regressao linear dos logarıtmos

> (cf1 <- coef(lm(log((ncap+0.1))~log(aves$area))))

(Intercept) log(aves$area)

-6.201162 1.165563

Ajuste numerico

> aves.m1 <- mle2(aves.LL1,start=

+ list(a0=cf1[1],a1=cf1[2]))



Modelos PoissonGLMs

IntroducaoExemplo


Coeficientes

> (cf3 <- coef(aves.m1))

a0 a1

-3.1409439 0.7187925

Codigo do Grafico observado e estimado

> f3 <- function(x) exp(cf3[1]+cf3[2]*x)

> plot(ncap~log(area), data=aves,

+ xlab="Ln area do fragmento (ha)",

+ ylab="N de Capturas")

> curve(f3(x),add=T, col="blue")



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: Grafico previsto

●●●

●

●●●●●●

●● ●●●

●

●

● ●

●

●

●

●

●

0 10 20 30 40 500.0

0.1

0.2

0.3

0.4


Pro

porç

ão s

obre

vive

nte



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: Perfis de log-verossimilhanca

−10 −8 −6 −4 −2 0 2

0

1

2

3

4

5

6

a0

Lo

g−

Ve

ross

imilh

an

ça N

eg

ativ

a R

ela

tiva

0.0 0.5 1.0 1.5

0

1

2

3

4

5

6

a1

Lo

g−

Ve

ross

imilh

an

ça N

eg

ativ

a R

ela

tiva



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: selecao de modelos

Modelo sem efeitos: log-verossimilhanca negativa

> aves.LL0 <- function(a0){

+ eta <- exp(a0)

+ -sum(dpois(aves$ncap, lambda=eta,

+ log=T))

+ }



Modelos PoissonGLMs

IntroducaoExemplo

Modelo Poisson: selecao de modelos

Ajuste do modelo sem efeito da area

> aves.m0 <- mle2(aves.LL0,

+ start=list(

+ a0=log(mean(aves$ncap))))

Comparacao com AIC

> AICtab(aves.m0,aves.m1, base=T)

AIC df dAIC

aves.m1 89.4 2 0.0

aves.m0 94.8 1 5.4



Modelos PoissonGLMs

IntroducaoExemplo

Modelos Poisson: previstos pelos dois modelos

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

5.0 5.5 6.0 6.5

0

2

4

6

8

Ln área do fragmento (ha)

N d

e C

aptu

ras



Modelos PoissonGLMs

ExemploIWLSLogica geral

Generalized linear models: exemplo Poisson

> aves.glm1 <- glm(ncap~log(area), family=poisson)

> coef(aves.glm1)

(Intercept) log(area)

-3.1425010 0.7190406

> coef(aves.m1)

a0 a1

-3.1409439 0.7187925



Modelos PoissonGLMs


Iteratively reweighted least squares method



Modelos PoissonGLMs



●

●

●●

●

●

●

●●

●●

●

●

●

●

●

● ●

●

0 1 2 3 4 5 6

0

1

2

3

4

5

6

x

y

●

●

●●

●

●

●

●●

●●

●

●

●

●

● ●

●

0 1 2 3 4 5 6

0

1

2

3

4

5

6

x

y



Modelos PoissonGLMs



●

●

●●

●

●

●

●●

●●

●

●

●

●

● ●

●

0 1 2 3 4 5 6

0

1

2

3

4

5

6

x

y

●

●

●●

●

●

●

●●

●●

●

●

●

●

●

●

0 1 2 3 4 5 6

0

1

2

3

4

5

6

x

y



Modelos PoissonGLMs


Modelo lineares generalizados

IWLS: solucao eficiente

Distribuicoes da famılia exponencial:

NormalBinomialPoissonGamaInversa da normal

Estabelecem uma relacao linear entre o valor esperado e afuncao de ligacao. Para a Poisson por exemplo:

lnE [Y ] = lnλ =i∑0

aiXi



Modelos PoissonGLMs





Normal

BinomialPoissonGamaInversa da normal



aiXi



Modelos PoissonGLMs





NormalBinomial

PoissonGamaInversa da normal



aiXi



Modelos PoissonGLMs





NormalBinomialPoisson

GamaInversa da normal



aiXi



Modelos PoissonGLMs





NormalBinomialPoissonGama

Inversa da normal



aiXi



Modelos PoissonGLMs








aiXi



Modelos PoissonGLMs







lnE [Y ] = lnλ =

i∑0

aiXi



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersaoModelo similar para binomial negativa (funcao glm.nb)Modelos lineares generalizados de efeitos mistosModelos lineares generalizados bivariados. . .



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersao

Modelo similar para binomial negativa (funcao glm.nb)Modelos lineares generalizados de efeitos mistosModelos lineares generalizados bivariados. . .



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersaoModelo similar para binomial negativa (funcao glm.nb)

Modelos lineares generalizados de efeitos mistosModelos lineares generalizados bivariados. . .



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersaoModelo similar para binomial negativa (funcao glm.nb)Modelos lineares generalizados de efeitos mistos

Modelos lineares generalizados bivariados. . .



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersaoModelo similar para binomial negativa (funcao glm.nb)Modelos lineares generalizados de efeitos mistosModelos lineares generalizados bivariados

. . .



Modelos PoissonGLMs



Funcao glm no R

Generalizacoes:

Quasi-likelihood para dados com sobredispersaoModelo similar para binomial negativa (funcao glm.nb)Modelos lineares generalizados de efeitos mistosModelos lineares generalizados bivariados. . .


modelos binomial e poisson - uspcmq.esalq.usp.br/bie5781/...poisson:06-aula-poisson... ·...

Documents