anÁlise bayesiana aplicada À hidrologia - … · cadeias de markov –processo estocástico com a...

ANÁLISE BAYESIANA APLICADA À HIDROLOGIA

Pedro Luiz Borges Chaffe, Debora Yumi de Oliveira e Paula Cunha David

Florianópolis, 28 e 30 de novembro de 2017

DIA 1

2

▪ Dia 28/11/2017 (14h-17h)

– Introdução ao teorema de Bayes

– Introdução a amostradores MCMC

▪ Dia 30/11/2017 (14h-17h)

– Exemplos de aplicação na Hidrologia

SOBRE O MINICURSO

3

▪ Dia 28/11/2017 (14h-17h)

– Introdução ao teorema de Bayes

– Introdução a amostradores MCMC

▪ Dia 30/11/2017 (13h30-16h)

– Exemplos de aplicação na Hidrologia

SOBRE O MINICURSO

ASSEMBLÉIA GERAL DA ABRH 16h!!

4

▪ Pedro Luiz Borges Chaffe

▪ Debora Yumi de Oliveira

▪ Paula Cunha David

SOBRE OS MINISTRANTES

5

▪ Pedro Luiz Borges Chaffe

▪ Debora Yumi de Oliveira

▪ Paula Cunha David

SOBRE OS MINISTRANTES

E VOCÊS????

6

▪ Entender os conceitos básicos envolvidos na inferênciaBayesiana (distribuição posterior, distribuição a priori, likelihood…)

▪ Entender como a análise Bayesiana pode ser útil em estudoshidrológicos

OBJETIVOS DO MINICURSO

7

POR QUE ANÁLISE BAYESIANA NA HIDROLOGIA?

8

▪ Análise de extremos hidrológicos


Viglione et al. (2013)

9

▪ Análise de extremos hidrológicos


Viglione et al. (2013)

10

▪ Modelagem hidrológica


Schoups & Vrugt (2010)

Introdução ao teorema de Bayes

12

▪ Probabilidade

▪ Probabilidade condicional

▪ Probabilidade conjunta

ALGUNS CONCEITOS…

13

▪ Probabilidade



ALGUNS CONCEITOS…

14

▪ Probabilidade:

– Valor entre 0 e 1

– Mede o grau de confiabilidade relacionado a um evento se tornarrealidade

– Notação: P(A)

ALGUNS CONCEITOS…

15

▪ Probabilidade



ALGUNS CONCEITOS…

16

▪ Probabilidade condicional:

– Probabilidade baseada em alguma informação

– Probabilidade depende de fatores que formam a “condição”

– Notação: P(A|B)

ALGUNS CONCEITOS…

17

▪ Probabilidade



ALGUNS CONCEITOS…

18

▪ Probabilidade conjunta:

– Probabilidade de ocorrência de dois eventos

– Notação: P(A ∩ B)

– Se os eventos A e B são independentes, P(A ∩ B) = P(A) * P(B)

– Se os eventos não são independentes, P(A ∩ B) = P(A) * P(B|A)

ALGUNS CONCEITOS…

P(B|A) = 0!

19

ALGUNS CONCEITOS…

Simpósio Brasileiro de Recursos Hídricos

GUSTAVO SPECKHANNHelmholtz Centre Potsdam

20

ALGUNS CONCEITOS…



Vou ter que falar em inglêscom essa pessoa?

21

ALGUNS CONCEITOS…

De 1000 pessoas no SBRH

900 são brasileiros

100 são estrangeiros



22

ALGUNS CONCEITOS…








23

ALGUNS CONCEITOS…








24

ALGUNS CONCEITOS…

Estrangeiros

Pessoas no SBRH

25

ALGUNS CONCEITOS…

70%Estrangeiros

Pessoas no SBRH

26

ALGUNS CONCEITOS…

70%

Pessoas no SBRH

Estrangeiros (10%)

Brasileiros (90%)

27

ALGUNS CONCEITOS…

70%

Pessoas no SBRH

Estrangeiros (10%)

Brasileiros (90%)

10%

29

ALGUNS CONCEITOS…


▪ P(B e UE) = P(B) * P(UE|B)

▪ P(B e UE) = 0,90 * 0,10 = 0,09

▪ P(B e UB) = P(B) * P(UB|B)

▪ P(B e UB) = 0,90 * 0,90 = 0,81

10%


Brasileiros (90%)

Pessoas no SBRH

30

ALGUNS CONCEITOS…


▪ P(E e UE) = P(E) * P(UE|E)

▪ P(E e UE) = 0,10 * 0,70 = 0,07

▪ P(E e UB) = P(E) * P(UB|E)

▪ P(E e UB) = 0,10 * 0,30 = 0,03

10%


Brasileiros (90%)

Pessoas no SBRH

31

ALGUNS CONCEITOS…

▪ Probabilidade marginal

▪ P(B) = 0,90

▪ P(E) = 0,10

▪ P(UE) = P(B e UE) + P(E e UE)

▪ P(UE) = 0,09 + 0,07 = 0,16

▪ P(UB) = P(B e UB) + P(E e UB)

▪ P(UB) = 0,81 + 0,03 = 0,84

10%


Brasileiros (90%)

Pessoas no SBRH

34

ALGUNS CONCEITOS…

De 900 brasileirosno SBRH

De 100 estrangeirosno SBRH

810 são de universidades brasileiras

90 são de universidadesestrangeiras 30 são de universidades

brasileiras

70 são de universidadesestrangeiras

35

TEOREMA DE BAYES

P(H) P(E | H)P(H | E)

P(E)

O teorema de Bayes nos permite atualizar a probabilidadede uma hipótese (H) dada uma certa evidência (E)

36

P(H) P(E | H)P(H | E)

P(E)

TEOREMA DE BAYES

P(HȁE)P HP(EȁH)P(E)

probabilidade posteriorprobabilidade a prioriprobabilidade condicionalevidência

37

Cookie problem

Bacia 1: 30 baunilha, 10 chocolate

Bacia 2: 20 baunilha, 20 chocolate

Supondo que você escolheu uma bacia aleatoriamente, um cookie aleatoriamente, e pegou um cookie de baunilha. Qual a probabilidade de você ter pegado o cookie da bacia 1?

Método da tabela:

a) Uma linha por hipótese

b) Colunas: prior, likelihood, prior*likelihood, posterior

TEOREMA DE BAYES: EXEMPLO

Allen Downey (Bayesian statistics made (as) simple (as possible): https://youtu.be/bobeo5kFz1g)

https://youtu.be/bobeo5kFz1g

38

PriorP(H)

LikelihoodP(E|H)

Prior * LikelihoodP(H) * P(E|H)

PosteriorP(H|E)

H1: Cookie veio da bacia 1 1/2 30/40 = 3/4 3/8 (3/8) / (5/8) = 3/5

H2: Cookie veio da bacia 2 1/2 20/40 = 1/2 1/4 (1/4) / (5/8) = 2/5

TEOREMA DE BAYES: EXEMPLO

Método da tabela:

a) Uma linha por hipótese

b) Colunas: prior, likelihood, prior*likelihood, posterior

P(E) = P(E|H1) * P(H1) + P(E|H2) * P(H2)

Allen Downey (Bayesian statistics made (as) simple (as possible): https://youtu.be/bobeo5kFz1g)

https://youtu.be/bobeo5kFz1g

39

P(H) P(E | H)P(H | E)

P(E)

TEOREMA DE BAYES


distribuição posteriordistribuição a priorilikelihoodevidência

40

P(H) P(E | H)P(H | E)

P(E)

TEOREMA DE BAYES



1/6

1 2 3 4 5 6

Distribuição: probabilidades para diferentes valores

41

P(H) P(E | H)P(H | E)

P(E)

TEOREMA DE BAYES



mesmo formato

área = 1

po

ster

ior

42

P(H) P(E | H)P(H | E)

P(E)

TEOREMA DE BAYES



P(H | E) P(H) P(E | H)

mesmo formato

área = 1

po

ster

ior

43

▪ Avaliar a eficácia da distribuição de panfleto sobre um restaurante

EXEMPLO

SaídaParâmetros Modelo

44

▪ Avaliar a eficácia da distribuição de panfleto sobre um restaurant

– Supondo que a probabilidade de sucesso é 35%

EXEMPLO


45

▪ Avaliar a eficácia da distribuição de panfleto sobre um restaurant

– Supondo que a probabilidade de sucesso é 35%

EXEMPLO


35%

BINOMIALθ = probabilidade de

sucesso em cada ensaio

6 de 16 pessoas foramao restaurante

46


EXEMPLO

SaídaModeloParâmetros

47


EXEMPLO

Saída

DAS 16 PESSOAS QUE RECEBERAM O PANFLETO, 6 FORAM AO RESTAURANTE

Parâmetros Modelo

48


EXEMPLO

Saída


Parâmetros Modelo

49

▪ Distribuição a priori

– Qual a informação que temos a respeito do parâmetro da distribuição binomial?

– 0 < p < 1

EXEMPLO

50


EXEMPLO

Saída


Parâmetros

16% 6

Modelo

51


EXEMPLO

Saída


Parâmetros

76% 10

Modelo

52


EXEMPLO

Saída


Parâmetros

35% 4

Modelo

53


EXEMPLO

Saída


Parâmetros

35% 6

Modelo

54

EXEMPLO


Repetindo vááárias vezes….

55

EXERCÍCIO 1: DURAÇÃO ENTRE ENCHENTES

Benjamin Renard, Dmitri Kavetski & Mark Thyer (Hydrocourse 2016)

56

Objetivo:

▪ Calcular o tempo de retorno do evento “o prédioé inundado”

Dados:

▪ 5 marcas de inundação

▪ 4 duração entre eventos D1,…, D4

Modelo:

▪ pdf: pexp(D|θ) = (1/θ) exp(-D/θ)



Duração entre eventos (D)

57



likelihood

Considerando independênciaentre as observações Di



58



prior


59



evidência


mesmo formato

área = 1

po

ster

ior

60



Objetivo:

▪ Calcular o tempo de retorno do evento “o prédioé inundado”

Dados:

▪ 5 marcas de inundação

▪ 4 duração entre eventos D1,…, D4

Modelo:

▪ pdf: pexp(D|θ) = (1/θ) exp(-D/θ)


61

▪ Abrir: AnaliseBayesiana_SBRH → Dia1 → Exercicios → “SBRH_ex1.xlsx”



Introdução a amostradores MCMC (Markov Chain Monte Carlo)

65

MONTE CARLO VIA CADEIAS DE MARKOV

▪ Cadeias de Markov

– Processo estocástico com a propriedade de que a distribuição de probabilidade do próximo estado depende apenas do estado atual e não da sequência de eventos que precederam

▪ Algoritmos MCMC

– Método para amostrar uma distribuição de probabilidade baseadona construção de uma cadeia de Markov que possui comodistribuição desejada a sua distribuição de equilíbrio

66

MONTE CARLO VIA CADEIAS DE MARKOV

▪ Cadeias de Markov

– Processo estocástico com a propriedade de que a distribuição de probabilidade do próximo estado depende apenas do estado atual e não da sequência de eventos que precederam

▪ Algoritmos MCMC

– Método para amostrar uma distribuição de probabilidade baseadona construção de uma cadeia de Markov que possui comodistribuição desejada a sua distribuição de equilíbrio

67

ALGORITMO DE METROPOLIS

▪ Metropolis ratio (probabilidade de aceite)

θ0

Cadeia de Markovθ0

Iteração Pontos amostrados0 θ0

pdf

θ

68



P(θ0)

θ0

Cadeia de Markovθ0


pdf

θ

69



P(θ0)

Cadeia de Markovθ0


θ0

pdf

θ

70



θ*

Cadeia de Markovθ0


1 θ*

pdf

θ

P(θ0)

71



P(θ*)

θ*

Cadeia de Markovθ0


1 θ*

pdf

θ

P(θ0)

72



θ*

Metropolis ratio*

0

P(θ )

P(θ )

Cadeia de Markovθ0


1 θ*

* 1 *se 1 aceita θ ,θ θ

se 1 amostra U[0,1]z

* 1 *

* 1 0

se aceita θ ,θ θ

se rejeita θ , θ = θ

z

z

pdf

θ

P(θ0)

P(θ*)

73



θ*

Metropolis ratio*

0

P(θ )

P(θ )

Cadeia de Markovθ0


1 θ*



* 1 *

* 1 0

se aceita θ ,θ θ


z

z

0,36 e = 0,75z

pdf

θ

P(θ0)

P(θ*)

74



Metropolis ratio*

0

P(θ )

P(θ )

Cadeia de Markovθ0, θ1


1 θ1 = θ0



* 1 *

* 1 0

se aceita θ ,θ θ


z

z

0,36 e = 0,75z

θ*

pdf

θ

P(θ1)

P(θ*)

75



P(θ1)



1 θ1

θ1

pdf

θ

76



P(θ1)

P(θ*)

θ*



1 θ1

2 θ*

pdf

θ

77



P(θ1)

P(θ*)

θ*

Metropolis ratio*

2

P(θ )

P(θ )

Cadeia de Markovθ0, θ1, θ2


1 θ1

2 θ*



* 2 *

* 2 1

se aceita θ ,θ θ


z

z

1

pdf

θ

78



P(θ1)

P(θ*)

θ*

Metropolis ratio*

2

P(θ )

P(θ )



1 θ1

2 θ2 = θ*



* 2 *

* 2 1

se aceita θ ,θ θ


z

z

1

pdf

θ

79



P(θ2)

θ2



1 θ1

2 θ2

pdf

θ

80

P(θ2)



P(θ*)

θ*



1 θ1

2 θ2

3 θ*

pdf

θ

81

P(θ2)



P(θ*)



1 θ1

2 θ2

3 θ*

Metropolis ratio*

2

P(θ )

P(θ )



* 2 *

* 2 1

se aceita θ ,θ θ


z

z

0,90 e = 0,45z

θ*

pdf

θ

82

P(θ2)



P(θ*)

Cadeia de Markovθ0, θ1, θ2, θ3


1 θ1

2 θ2

3 θ3 = θ*

Metropolis ratio*

2

P(θ )

P(θ )



* 2 *

* 2 1

se aceita θ ,θ θ


z

z

0,90 e = 0,45z

θ* θ

pdf

83



θ3

Cadeia de Markovθ0, θ1, θ2, θ3


1 θ1

2 θ2

3 θ3 = θ*

pdf

θ

P(θ3)

84



Exemplo MATLAB

85



86



Exemplo MATLAB

87



88



89

RANDOM WALK METROPOLIS

Exemplo MATLAB

Jasper Vrugt

90


Jasper Vrugt

91


Jasper Vrugt

92


Jasper Vrugt

93

▪ Abrir: AnaliseBayesiana_SBRH → Dia1 → Exercicios → “SBRH_ex2.xlsx”

EXERCÍCIO: MCMC


ANÁLISE BAYESIANA APLICADA À HIDROLOGIA

Pedro Luiz Borges Chaffe, Debora Yumi de Oliveira e Paula Cunha David

Florianópolis, 28 e 30 de novembro de 2017

anÁlise bayesiana aplicada À hidrologia - … · cadeias de markov –processo estocástico com a...

Documents