mini-curso mlge 1. programa 2. objectivo 3. mlg vars. contínuas 3. selecção do mlg 4. mlg normal...

42
mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação 10. Exemplo 11. MLG exótico 12. Bibliografia Programa: 1. Introdução aos MLG 2. Regressão Logística 3. MLG aplicados a variáveis resposta com distribuição contínua 4. MLG aplicados a dados de contagens 5. Análise de variância (ANOVA) com MLG 3. MLG vars. contínuas 1. Programa

Upload: internet

Post on 18-Apr-2015

130 views

Category:

Documents


7 download

TRANSCRIPT

Page 1: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Programa:

1. Introdução aos MLG

2. Regressão Logística

3. MLG aplicados a variáveis resposta com distribuição contínua

4. MLG aplicados a dados de contagens

5. Análise de variância (ANOVA) com MLG

3. MLG vars. contínuas

1. Programa

Page 2: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Objectivo dos Modelos para Variáveis Contínuas

Encontrar um modelo adequado e parcimonioso que permita descrever a relação entre uma variável aleatória contínua Y e um conjunto de variáveis

não-aleatórias preditoras X1, X2, …, Xp

MLG Normal MLG Gama MLG Gaussiana Inversa

Modelos disponíveis

2. Objectivos

Page 3: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

MLG Normal

Selecção do MLG mais adequado

Pode ser utilizado quando a variável resposta Y possui distribuição Normal com variância constante em torno do valor médio.

MLG Gama

Pode ser utilizado quando a variável resposta Y possui distribuição Gama, pelo que a sua variância deverá aumentar à medida que o valor médio aumenta. Uma variável

com distribuição Gama só toma valores positivos.

3. Selecção do MLG

Page 4: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Normal

,Y N

0 1 1 ... p pX X

E Y

2Var Y

4. MLG Normal

Page 5: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Normal

1) A Distribuição Normal (Gaussiana) pertence à família exponencial

( )| , exp ( , )

( )

y bf y c y

a

O Modelo Normal é um MLG

Fórmula geral das distribuições pertencentes à família exponencial:

2

1 1| , exp

22

yf y

f.d.p

a()

b()

c(y,)

2

2 2 2

2 2

2 2

2

1 1log log

2 22 2

y y

4. MLG Normal

Page 6: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

2) A função de ligação é monótona e diferenciável

Introdução ao MLG Normal

O Modelo Normal é um MLG

g Função de ligação Identidade, monótona crescente e diferenciável em IR

g()

4. MLG Normal

Page 7: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Normal

Estimação dos parâmetros pelo Método da Máxima Verosimilhança

11

2

1

2

21

2

1 21

, ; ,..., ( , ; )

1 1exp

22

1 1exp

22

exp

n

n ii

ni i

i

n n

i ii

n

i ii

y y f y

y

y

C C y

L

Sendo 0 1 1...i i p ipx x

A maximização da função verosimilhança passa por minimizar a soma dos quadrados dos resíduos, que era precisamente o objectivo do Modelo Linear clássico.

Soma dos quadrados dos resíduos resultantes do ajustamento do modelo

Os estimadores de 0, 1, …p de mínimos quadrados coincidem com os estimadores de máxima verosimilhança, i.e., o Modelo Linear clássico e o MLG Normal produzem os mesmos resultados.

4. MLG Normal

Page 8: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

22

0

0 1 02 21

...1 1,..., , ; ,..., ... log

2 22

np ip i

p n i p ipi

x yl y y y x

0

0 2

...,...,

ij i p ip

i pj

x y xl

2

0 2,..., ij ik

i pj k

x xl

Derivadas parciais das parcelas da log-verosimilhança (necessárias para o algoritmo IRLS)

Introdução ao MLG Normal

Estimação dos parâmetros pelo Método da Máxima Verosimilhança

Estimador de : 22

01

1 ˆ ˆˆ ...n

i p ipi

y xn p

4. MLG Normal

Page 9: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Gama

,Y Gama

10 1 1 ... p pg X X

E Y

2

Var Y

5. MLG Gama

Page 10: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Gama

O Modelo Gama é um MLG

1) A Distribuição Gama pertence à família exponencial

( )| , exp ( , )

( )

y bf y c y

a

Fórmula geral das distribuições

pertencentes à família exponencial:

1

| , expy y

f yy

f.d.p

a()

b()

c(y,)

1

1

1

log log

log logy y

Nota: No R, = a.s , sendo a o “shape parameter” e s o “scale parameter”

5. MLG Gama

Page 11: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Gama

2) A função de ligação é monótona e diferenciável

1g Função de ligação Identidade, monótona crescente e diferenciável em IR

O Modelo Gama é um MLG

2

1g

Função de ligação Inversa, monótona decrescente e

diferenciável em IR+

3 logg Função de ligação Logarítmica, monótona crescente e diferenciável em IR+

5. MLG Gama

Page 12: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Introdução ao MLG Gama

11

1, ; ,..., log log 1 log log

ni

n ii i i

yl y y y

00

1,..., ,

...i p ij ij p ip

l x yx

2

0 2

0

,..., ,...

ij iki p

j k p ip

x xl

x

Estimação dos parâmetros pelo Método da Máxima Verosimilhança

Para o MLG Gama com função de ligação inversa, as derivadas parciais das parcelas da log-verosimilhança (necessárias para o

algoritmo IRLS) são

1

2

01

1 1 ˆ ˆˆ 1 ...ˆ

n

i p ipi

y xn p

Estimador de :

5. MLG Gama

Page 13: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Diferenças entre os MLG Normal e Gama

Variável preditora X

Y

No MLG Normal

a) Y pode tomar valores ≤ 0.

b) A relação entre X e Y é linear (se não for transforma-se X).

c) A variabilidade de Y em torno do valor esperado pelo modelo (indicado pela recta) é constante (homocedasticidade).

2

E Y

Var Y

6. Diferenças

Page 14: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

No MLG Gama

a) Y só toma valores positivos.

b) A relação entre Y e X pode ser linear ou curvilínea (a forma da curvatura indicia a função de ligação a utilizar).

c) A variabilidade de Y em torno do valor esperado pelo modelo aumenta juntamente com este último.

Diferenças entre os MLG Normal e Gama

2

E Y

Var Y

Variável preditora X

Y

Inversa

Logarítmica

Identidade

X

Y

6. Diferenças

Page 15: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Construção de um MLG para uma variável contínua

Passos na modelação

Frequentemente, desconhece-se a priori qual é a distribuição da variável Y que se pretende estudar, pelo que a selecção do tipo de MLG faz-se com base nos dados

recolhidos.

ATENÇÃO

Como o valor médio de Y varia dentro de uma amostra recolhida, não é possível seleccionar o tipo de modelo mais adequado a partir de um histograma baseado nas

observações de Y (Kéry e Hatfield, 2003).

1. Recolha de uma amostra composta por observações da variável resposta (contínua) e de candidatas a variáveis preditoras.

2. Análise exploratória univariada

3. Escolha do tipo de MLG (Gama ou Normal) e da função de ligação a utilizar

7. Construção

Page 16: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo (exemplo3.txt):

> ex3<-read.table("C:\\exemplo3.txt",sep=",")> names(ex3) <- c(“Y”,”X”)> hist(ex3$Y, col=“blue”)

Medidas geralmente utilizadas: logaritmização ou aplicação de um MLG Gama (ex. Góni et al., 1999).

Construção de um MLG para uma variável contínua

7. Construção

Page 17: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo (exemplo3.txt):

Análise da variabilidade de Y para cada valor da variável preditora X:

> plot(ex3$X,ex3$Y,cex=.5)

Observações:

A média de Y é maior para maiores valores de X; a relação parece ser linear.

A variabilidade de Y em torno da média parece ser constante, não dependendo por isso do valor desta.

O MLG Normal Y = 0 + 1 X pode ser adequado

Construção de um MLG para uma variável contínua

7. Construção

Page 18: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo (exemplo3.txt):

> k<-glm(ex3$Y~ex3$X,family=gaussian)> hist(k$residuals)> qqnorm(k$residuals)> plot(1:1000,k$residuals)> plot(ex3$X,k$residuals)

Construção de um MLG para uma variável contínua

Sobre qq-plots

7. Construção

Page 19: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Construção de um MLG para uma variável contínua

Outros exemplos:

>a<-c(rnorm(1000,mean=5,sd=1), rnorm(1000,10,1),rnorm(1000,15,1))

>hist(a, col=“blue”)

>a<-c(rnorm(1000,5,sd=1),rnorm(1000,7.5,1), rnorm(1000,10,1),rnorm(1000,12.5,1))>hist(a, col=“blue”)

7. Construção

Page 20: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Construção de um MLG para uma variável contínua

Contra-exemplo (exemplo3b.txt):

> ex3b<-read.table("C:\\exemplo3b.txt",sep=",")> names(ex3b) <- c(“Y”,”X”)> hist(ex3b$Y, col=“blue”)> plot(ex3b$X,ex3b$Y)

7. Construção

Page 21: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Conclusão

Para a modelação de variáveis resposta contínuas, a escolha do tipo de MLG (Gama ou Normal) faz-se pela:

1. Análise da variância de Y para diferentes combinações das

variáveis preditoras.

2. Análise dos resultados do ajustamento de MLG preliminares

com Y~Gama e Y~Normal.

Construção de um MLG para uma variável contínua

7. Construção

Page 22: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Construção de um MLG para uma variável contínua

1. Recolha de uma amostra composta por observações da variável resposta (contínua) e de candidatas a variáveis preditoras.

2. Análise exploratória univariada

3. Escolha do tipo de MLG (Gama ou Normal) e da função de ligação a utilizar

3. Construção do modelo inicial (exclusão sequencial de preditores não-significativos)

5. “Afinação” do modelo inicial (teste à linearidade dos preditores)

6. Finalização do modelo (inclusão de interacções)

Passos na modelação

7. Construção

Page 23: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Avaliação da Qualidade de Ajustamento (goodness of fit)

Análise Global do Ajustamento

1. Função de Desvio

0* 2Modelo Obtido ( 1)~

H

n pD

H0: O Modelo Obtido não é significativamente pior que o Modelo Saturado.

Se então o modelo é considerado inadequado.2( 1);1Calc n p

> qchisq (0.95, 198) [1] 231.8292> glm(ex3b$Y~ex3b$X,family=Gamma(link=log))$deviance[1] 79.80667> glm(ex3b$Y~ex3b$X,family=Gamma(link=identity))$deviance[1] 80.14324> glm(ex3b$Y~ex3b$X,family=Gamma(link=inverse))$deviance[1] 79.67766

Exemplo: exemplo3b (MLG Gama com 1 preditor, n = 200)

> 1-pchisq(glm(ex3b$Y~ex3b$X,family=Gamma(link=log))$deviance,198)[1] 1

8. GOF

Page 24: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

2. Estatística de Pearson generalizada

02 2

( 1)1

~n H

i n pi

X R

Se então o modelo é considerado inadequado.

Turkman e Silva (2000, pg. 75) advertem que a distribuição dos resíduos de Pearson é bastante assimétrica para modelos não-Normais.

2( 1);1Calc n pX

H0: O Modelo obtido não é significativamente pior que o Modelo Saturado.

Avaliação da Qualidade de Ajustamento (goodness of fit)

Análise Global do Ajustamento

ˆ

ˆ

ˆ

no MLG Normal

no MLG Gama

,

,

i i

i i i

i

y

R y

> m<-glm(ex3b$Y~ex3b$X,family=Gamma(link=log))> resP<-(ex3b$Y-m$fitted.values)/m$fitted.values> sum(resP^2)[1] 67.32966> chisq(sum(resP^2),198)[1] 1

Previsões do modelo

10 1 1

ˆ ˆ ˆ... p pg x x 8. GOF

Page 25: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

3. R2 e Pseudo R2

Avaliação da Qualidade de Ajustamento (goodness of fit)

Análise Global do Ajustamento

No Modelo Linear Clássico o R2 é amplamente utilizado como medida da qualidade de ajustamento. Porém, a aplicação desta medida em modelos não-lineares produz valores que não pertencem ao intervalo [0,1] ou diminuem à medida que se incluem variáveis preditoras no modelo (Cameron e Windmeijer, 1996). Como alternativa existem várias medidas análogas ao R2 (Pseudo R2), com utilidade discutível.

ATENÇÃO

As medidas globais de ajustamento não dispensam a análise dos resíduos individuais. Em particular, valores elevados de R2 nem sempre indicam um bom ajustamento.

8. GOF

Page 26: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Avaliação da Qualidade de Ajustamento (goodness of fit)

Exemplo (MLG Normal):

Y

R2=0.90 R2=0.30

X X

Histogramas dos resíduos para

-2< X< 0

Distribuição assimétrica em torno de 0, sem

média nula

Distribuição aproximadamente simétrica em torno de 0, com

média nula

Y

8. GOF

Page 27: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Análise de Resíduos

1. Resíduos do Desvio

MLG Normal: ˆi i id y

MLG Gama: ˆ ˆˆ 2 log

ˆi i i

i i ii i

yd Sinal y

y

> resD<-sign(ex3b$Y-m$fitted.values)*(2*(log(m$fitted.values/ex3b$Y) +(ex3b$Y-m$fitted.values)/m$fitted.values))^0.5> hist(resD)> qqnorm(resD)> qqline(resD)

Avaliação da Qualidade de Ajustamento (goodness of fit)

8. GOF

Page 28: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

2. Resíduos de Pearson

> hist(resP)> qqnorm(resP)> qqline (resP)

Análise de Resíduos

Avaliação da Qualidade de Ajustamento (goodness of fit)

8. GOF

Page 29: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Análise de Resíduos

3. Quantile residuals (Dunn e Smyth, 1996)

1 ˆˆ( ; , )i i iQR F y

> library(statmod)> m<-glm(ex3b$Y~ex3b$X,family=Gamma(link=log)) > hist(qres.gamma(m,dispersion=0.34))> qqnorm(qres.gamma(m,dispersion=0.34))> qqline(qres.gamma(m,dispersion=0.34))

Primeira utilização (instalar STATMOD.ZIP)

Avaliação da Qualidade de Ajustamento (goodness of fit)

8. GOF

Page 30: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Neste MLG é necessário ter em conta a função de ligação utilizada.

As estimativas dos coeficientes variam em amplitude e sinal consoante a f.l. utilizada.

Interpretação do Modelo Obtido

MLG Gama

MLG Normal

As estimativas dos coeficientes são idênticas ao Modelo Linear clássico. A interpretação dos resultados não apresenta dificuldades.

1) Função de ligação identidade: 0 1 1ˆ ˆ ˆˆ ... p pX X

1 2, 0,..., 0pX c X X 0 1ˆ ˆˆ c

1 21, 0,..., 0pX c X X 0 1 1ˆ ˆ ˆˆ c

Ao valor esperado adicionam-se 1 unidades.

0 1 1 0 1 1ˆ ˆ ˆ ˆ ˆ ˆˆ( ) c c

A função de ligação identidade leva-nos a admitir que as variáveis preditoras interagem de uma forma aditiva.

9. Interpretação

Page 31: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

2) Função de ligação logarítmica: 0 1 1ˆ ˆ ˆˆlog( ) ... p pX X

1 2, 0,..., 0pX c X X 0 1ˆ ˆˆ exp( )c

1 21, 0,..., 0pX c X X 0 1 1ˆ ˆ ˆˆ exp( )c

O valor esperado pelo modelo factoriza exp(1) unidades:

MLG Gama

0 1 1

1

0 1

ˆ ˆ ˆexpˆˆ( ) exp( )

ˆ ˆexp

c

c

Interpretação do Modelo Obtido

A função de ligação logarítmica leva-nos a admitir que as variáveis preditoras interagem de uma forma multiplicativa.

9. Interpretação

Page 32: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

3) Função de ligação inversa: 0 1 1ˆ ˆ ˆˆ1 ... p pX X

1 2, 0,..., 0pX c X X 0 1

ˆ ˆ c

1 21, 0,..., 0pX c X X 0 1 1

ˆ ˆ ˆc

MLG Gama

Ao contrário do que sucede nas duas outras funções de ligação, em que o sinal da variação do valor esperado é igual

ao sinal do coeficiente, neste caso o sinal é oposto.

1

1

ˆ ˆ0

ˆ ˆ0

diminui

aumenta

Interpretação do Modelo Obtido

9. Interpretação

Page 33: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Interpretação do Modelo Obtido

> glm(ex3b$Y~ex3b$X,family=Gamma(link=identity))$coefficients(Intercept) ex3b$X 8.975235 8.419908 > glm(ex3b$Y~ex3b$X,family=Gamma(link=log))$coefficients(Intercept) ex3b$X 2.362919 0.460826 > glm(ex3b$Y~ex3b$X,family=Gamma(link=inverse))$coefficients(Intercept) ex3b$X 0.08504646 -0.02428752

O sinal é negativo porque a associação entre o valor esperado e o preditor é

positiva9. Interpretação

Page 34: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo de uma aplicação do MLG Gama (PDF)

Exemplo: Negro.pdf

10. Exemplo

Page 35: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo de uma aplicação do MLG Gama (PDF)

Exemplo: Negro.pdf

Objecto de estudo: carotenóides – pigmentos que são alvo de intensa pesquisa pelos biólogos evolucionistas, dado que são responsáveis pela coloração de ornamentos dos animais. Além desta função, os carotenóides também agem como antioxidantes que auxiliam o sistema imunitário. Os vertebrados só obtêm carotenóides através da dieta.

Objectivo: ampliar o conhecimento do uso dos carotenóides nas aves, pelo estudo da sua concentração no tecido adiposo do ganso-bravo (sin.: ganso-comum-ocidental) Anser anser (neste caso os carotenóides configuram apenas a coloração do bico). Pesquisaram-se variações nesta concentração associadas ao sexo, à idade, ao fat-score e à espessura da camada adiposa.

Metodologia: Ajustamento de dois GLMs gama (função de ligação logarítmica), um para a zona do peito e outro para a zona da barriga; construção do modelo pelo processo forward stepwise (adição sequencial com possibilidade de remoção)10. Exemplo

Page 36: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Exemplo de uma aplicação do MLG Gama (PDF)

Exemplo: Negro.pdf

Resultados

Falta informação sobre o coeficiente 0

10. Exemplo

Page 37: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Um MLG exótico

Questão:

A probabilidade de ocorrência do polvo-comum parece ser maior nas zonas de substrato rochoso.

Os polvos maiores encontram-se geralmente a maior profundidade.

Definição da variável resposta:

Seja B a variável que define a biomassa média (kg) das capturas realizadas em cada um dos pontos representados na figura. Nestes pontos registou-se também a profundidade e a percentagem de substrato coberto por rocha (polvo.txt contém dados fictícios).

Octopus vulgaris

Como se distribui a biomassa de Octopus vulgaris na costa algarvia e a que factores ambientais responde?

Pistas:

11. MLG exótico

Page 38: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

B é uma variável contínua não-negativa; em mais de 200 locais, B=0 (não foram

capturados polvos).

Como modelar?

B=0

Um MLG exótico

Distribuição amostral de B

11. MLG exótico

Page 39: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Um MLG exótico

1| , , 1 | ,

JJh y f y

Admitindo que o peso dos indivíduos capturados segue a distribuição Gama, a função de densidade probabilística de B pode ser escrita da seguinte forma:

Onde f (y|,) é a f.d.p. de uma variável aleatória com distribuição Gama (,), é a probabilidade de captura de polvos e

1, 0

0, 0

se

se

yJ

y

Função de verosimilhança

1

1

1

1

1 1

, , , ,

1 | ,

1 | ,

,

ii

i i

n

i ii

nJJ

i i i ii

n nJ J

i i i ii i

h

f y

f y

π μ

π μ

L

L LProdutório que depende apenas de

Produtório que depende apenas de e

Função de verosimilhança de n variáveis aleatórias

com distribuição Bernoulli

Função de verosimilhança de n variáveis aleatórias com distribuição Gama

11. MLG exótico

Page 40: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Ou seja, para encontrarmos as estimativas de máxima verosimilhança dos coeficientes 0, 1, 0 e 1 presentes nas expressões:

1 0 1( )g R

2 0 1( )g P

onde R designa a % de substrato rochoso e P a profundidade (g1 e g2 são funções de ligação)

podemos maximizar separadamente πL ,μLe

através de um Modelo de Regressão Logística (ou um MLG clog-log ou um MLG probit) e um MLG Gama.

Um MLG exótico

11. MLG exótico

Page 41: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia

Um MLG exótico

1) Modela-se a probabilidade de captura de O. vulgaris por meio de um Modelo de Regressão Logística (a informação sobre o peso dos indivíduos é descartada; os locais onde se capturaram

polvos codificam-se como 1s), tendo como variável preditora a percentagem de substrato rochoso.

2) Modela-se o peso médio dos polvos capturados por meio de um MLG Gama (os locais em que não foram capturados polvos são descartados), tendo como variável preditora a

profundidade.

Metodologia

3) Obtêm-se estimativas de biomassa de O. vulgaris pela multiplicação dos valores esperados produzidos pelos dois modelos.

Sobre este assunto

Ye et al. (2001) – modelação de pescas (MLG gama com zeros)

Feuerverger (1979) – modelação de dados de precipitação

Tu (2002) – discussão geral sobre modelação de variáveis com muitos zeros

Exercício

Modelar a biomassa de O. vulgaris em função da % de substrato rochoso e da profundidade.

Soluções: 0=-1.4, 1=3.8, 0= 1.22, 1= 0.004 (log link)11. MLG exótico

Page 42: Mini-curso mlge 1. Programa 2. Objectivo 3. MLG vars. contínuas 3. Selecção do MLG 4. MLG Normal 5. MLG Gama 6. Diferenças 7. Construção 8. GOF 9. Interpretação

mini-curso mlge

1. Programa

2. Objectivo

3. MLG vars. contínuas

3. Selecção do MLG

4. MLG Normal

5. MLG Gama

6. Diferenças

7. Construção

8. GOF

9. Interpretação

10. Exemplo

11. MLG exótico

12. Bibliografia12. Bibliografia

Bibliografia

•Cameron, A.C., Windmeijer, F.A.G., 1996. An R-squared measure of goodness of fit for some common nonlinear regression models. Journal of Econometrics 77(2): 329-342.

•Dunn, P.K., Smyth, G.K., 1996. Randomized quantile residuals. Journal of Computational and Graphical Statistics 5: 236-244.

•Feuerverger, A., 1979. On some methods of analysis for weather experiments. Biometrika 66(3): 655-658.

•Góni, R., et al., 1999. Application of generalized linear modelling to catch rate analysis of Western Mediterranean fisheries: the Castellón trawl fleed as a case study. Fisheries Research 42: 291-302.

•Kéry, M., Hatfield, J.S., 2003. Normality of raw data in general linear models: the most widespread myth in statistics. Bulletin of the Ecological Society of America 84(2): 92-94.

•Negro, J.J., et al., 2001. Fat stores in birds: na overlooked sink for carotenoid pigments? Functional Ecology 15: 297-303.

•Tu, W., 2002. Zero-inflated data. In: El-Shaarawi, A.H., Piegorsch, W.W., Encyclopedia of environmetrics. John Wiley & Sons, Ltd, Chichester.

•Ye, Y., et al., 2001. Use of generalized linear models to analyze catch rates having zero values: the Kuwait driftnet fishery. Fisheries Research 53: 151-168.

Survival.PDFContinuous.PDF Venables.PDF

PDF

PDF

PDF

PDF

PDF

PDF

PDF