relatÓrio final de bolsa ferramenta para …ftp.cptec.inpe.br/etai/relatorio.primeiraetapa.pdf ·...
TRANSCRIPT
RELATÓRIO FINAL DE BOLSA FERRAMENTA PARA DETECÇÃO DE EVENTOS EXTREMOS DE
PRECIPITAÇÃO
Marcio José Ferreira
Christopher Alexander Cunningham Castro
Marcelo Henrique Seluchi
Cachoeira Paulista 2013
INTRODUÇÃO
Eventos severos de precipitação são bastante comuns em diversas regiões do
Brasil, sempre causando transtornos, e frequentemente acarretando em perdas
materiais e humanas. Por estas razões é de vital importância, para
organizações como a Defesa Civil, ter em mãos informações que possam
sinalizar com antecedência a ocorrência de chuvas extremas, podendo assim
ser utilizadas na emissão de alertas.
Para ter essas informações confiáveis deve-se ter disponível dados que
possuam a maior veracidade possível, dentre as técnicas de previsão de
tempo, encontra-se a previsão por conjuntos. A técnica de previsão por
conjuntos se sobressai sobre a previsão comum por oferecer um numero maior
de previsões para um determinado dia e horário, adicionando pequenas
perturbações às condições iniciais uma previsão de conjunto irá fornecer um
maior conjunto probabilístico de cenários para uma data, através da
observação desses cenários, e as suas similaridades, pode-se obter uma visão
mais apurada de eventos de destaque na previsão do tempo por se basear em
um espaço de probabilidades ao invés de um único valor de uma previsão
determinística. Dada a incerteza e alta instabilidade da atmosfera previsões
baseadas em probabilidades são mais adequadas.
O objetivo deste projeto é desenvolver uma ferramenta de previsão de eventos
extremos de precipitação através das previsões probabilísticas emitidas pelo
Sistema de Previsão por Conjuntos (SPCON) do Centro de Previsão de Tempo
e Estudos Climáticos (CPTEC). Esta ferramenta é proposta para o Centro
Nacional de Monitoramento e Alerta de Desastres Naturais (CEMADEN) com a
colaboração do Grupo de Previsão por Conjuntos.
2. DADOS E MÉTODOS
A ferramenta para identificação de eventos extremos de precipitação na
previsão é fundamentada no espaço probabilístico, portanto, faz uso do
SPCON do CPTEC/INPE.
O SPCON do CPTEC/INPE é baseado no Modelo Geral de Circulação
Atmosférica (MCGA) do CPTEC/INPE. Esse modelo resolve, através do
método espectral numérico, as equações primitivas na forma de divergência e
vorticidade, temperatura virtual, logaritmos de umidade específica e pressão de
superfície e inclusão de processos de sub-grade através de parametrizações.
Detalhes do modelo podem ser obtidos em Kinter et al. (1997).
O SPCON gera 15 membros por rodada, sendo sete perturbações randômicas
positivas, sete negativas e uma rodada de controle, o estado previsto da
atmosfera é gravado a cada 6 horas, até o limite de 360 horas de previsão. O
procedimento empregado para gerar as condições iniciais de perturbação
atmosférica é baseado no método desenvolvido por Zhang e Krishnamurti
(1999), originalmente proposto para previsão de furacões usando o MCGA da
Universidade do Estado da Flórida (FSU, em inglês). Este método, chamado
perturbações baseadas em funções ortogonais empíricas (EOF, em inglês), foi
desenvolvido baseado no fato que durante o começo da integração do modelo,
aproximadamente 36h, as perturbações crescem linearmente.
O processo explicado abaixo sumariza uma rodada operacional atual do
SPCON do CPTEC/INPE:
Sete pequenas perturbações randômicas são adicionadas para os
campos de temperatura e componente horizontal do vento da análise de
controle;
1. A análise perturbada resultante e a análise de controle são usadas para
integrar o modelo por 36 horas;
2. Sete séries temporais do diferente campo de previsão são construídas
pela subtração da previsão de controle da previsão perturbada a
incrementos de 3 horas cada;
3. Uma análise EOF é realizada para cada uma das sete séries temporais
em um domínio tropical definido sul-norte como 45°S e 30°N, e oeste-
leste como 0° a 360° W;
4. A análise EOF determina os autovetores cujos coeficientes temporais
aumentam rapidamente com o tempo, estes autovetores são
considerados as perturbações EOF;
5. Estas perturbações são re-escaladas de maneira que seus desvios
padrões sejam da mesma ordem das perturbações iniciais;
6. Adicionando e subtraindo estas perturbações re-escaladas na análise
não perturbada se produz os 14 estados iniciais perturbados;
7. As 14 condições iniciais perturbadas mais a não perturbada são
integradas no tempo com um horizonte de previsão de 15 dias (360
horas) resultando em um sistema de previsão por conjuntos composto
de 15 membros;
As condições iniciais usadas na etapa 1 são análises espectrais diárias das 00
e 12 em tempo universal coordenado (UTC, em inglês) obtidas do National
Center For Environmental Prediction (NCEP). Estas condições iniciais são
usadas para integrar as rodadas de controle e para criar os membros
perturbados. Todos os membros são integrados no tempo na resolução
horizontal T126 e em 28 níveis verticais. Mendonça e Bonatti (2009)
propuseram modificações no método detalhado acima. Três principais
mudanças foram propostas: i) aplicar o método EOF para perturbar
adicionalmente as latitudes médias, ii) aplicar perturbações adicionais para os
campos de pressão de superfície e umidade especifica, e iii) computar
perturbações regionais sobre a America do Sul.
O aspecto fundamental desta proposta de ferramenta para antecipação de
eventos extremos de chuva é o uso do espaço probabilístico ao invés do
espaço físico da variável.
A ferramenta determina empiricamente duas funções de distribuição: a
distribuição de probabilidades cumulativas (DPC) prevista e a DPC
climatológica do SPCON.
As DPC são ajustadas segundo um modelo de distribuição de probabilidades
de uma curva gama.
A DPC prevista é calculada para uma previsão iniciada em uma determinada
data (condição inicial; CI) e para um determinado horizonte de previsão (e.g.,
120 horas). Ou, equivalentemente para uma determinada data-alvo e com uma
determinada antecipação.
A DPC climatológica utilizada neste trabalho é baseada em previsões
retrospectivas. Previsões retrospectivas são uma maneira confiável de obter
estatísticas do SPCON que podem ser utilizadas em produtos de previsão em
tempo real (Hamill et al., 2004; Hamil et al., 2006). O conjunto de previsões
retrospectivas consiste das previsões iniciadas as 00 e 12 UTC dos anos de
2009, 2010 e 2012. O SPCON utilizado é aquele descrito e avaliado em
(Cunningham et al., 2013 - submetido).
Para se obter as curvas para uma determinada data alvo, utilizam-se previsões
retrospectivas de diferentes lags para essa data. Irão ser obtidos dois conjuntos
de dados para um determinado lag e data. O primeiro conjunto irá ser
composto dos valores de precipitação de uma área determinada dos 15
membros do modelo de circulação global de uma data e lag necessários para
alcançar a data alvo, essa data não deve estar no limite dos anos da
climatologia. O segundo conjunto irá conter os valores de precipitação dos 15
membros das previsões da mesma data e lag para os anos 2009, 2010 e 2011,
para a mesma área utilizada anteriormente na previsão. Essas previsões são
as contidas na climatologia.
Uma vez que o foco deste estudo são eventos extremos de precipitação, estão
sendo considerados apenas valores superiores a 10 mm/dia de precipitação,
da mesma forma tendo em vista o objetivo de se evitar desastres e emissão de
alerta para áreas povoadas, utilizamos a máscara continente-oceano do
modelo, para filtrar somente os eventos que ocorrem sobre o continente. Esse
conjunto de dados, limitado inferiormente, irá então ser organizado em duas
curvas de função de distribuição, a climatológica e a prevista que poderão ser
comparadas para observação de eventos extremos.
A função de distribuição utilizada para gerar as curvas é a Função de
distribuição de probabilidades cumulativas Gama.
Introduzida por Euler por volta de 1730, a distribuição gama serve de base para
a definição das distribuições contínuas, por ser unilateral, frequentemente é
utilizada como modelo para quantidades físicas compostas por valores
positivos, como valores totais de precipitação.
Em Stephenson (2005) é possível encontrar uma abordagem prática da
distribuição gama de densidade (Probability density function), sendo
apresentada sob a seguinte estrutura matemática:
Composta por dois parâmetros, α, parâmetro de forma que caracteriza a forma
da distribuição, e β, parâmetro de escala e indica a escala / largura da
distribuição, onde α, β > 0. Obtendo-se a média através de:
(1)
E a variância
É possível então obter a CDF da curva gama a fim de representar os percentis
da distribuição de densidade.
Com base nos valores de probabilidade obtidos na curva CDF e então
calculado o Extreme Forcast Index (EFI) criado por Lalaurete (2003), para um
determinado evento.
A versão de EFI usada nesse trabalho é a mesma utilizada na geração de
produtos do European Centre for Medium-Range Weather Forecasts (ECMWF)
e pode ser representada pela seguinte forma:
Onde F(p) denota a proporção dos membros da climatologia do SPCON que
estão abaixo de um determinado quantil qi. p corresponde a proporção de
membros da previsão que estão abaixo do mesmo quantil qi especifico.
Para o calculo da equação a distribuição total (0 a 100) foi dividida em 33
intervalos de três pontos percentuais.
Essa formula irá gerar um valor final que em casos positivos indica que um
evento extremo foi detectado, em casos negativos a climatologia tem uma
acumulado maior do que a previsão e não é registrado um evento extremo.
(2)
(3)
(4)
2.1 DETALHES DO SISTEMA AUTOMÁTICO
O processo da construção do índice se inicia com um script em bash que
recebe como argumentos a data de inicio da previsão, a defasagem da
previsão e os quatro pontos das coordenadas da região para o qual se deseja
calcular o índice.
Com esses valores o script inicialmente irá gerar duas listas uma com os
caminhos dos 15 arquivos da data e lag alvos e a outra com os caminhos dos
45 arquivos da climatologia, esses arquivos possuem exatamente os mesmos
dias e lags da data alvo, porem seus anos serão fixados em três conjuntos para
os anos de 2009, 2010 e 2011.
Após a criação das listas o script irá chamar os scripts GRADS para obter os
valores de precipitação na área desejada para a data alvo e para a
climatologia.
O primeiro script GRADS recebe os valores que foram inseridos no script bash
no inicio do processo e inicia sua função lendo o arquivo de lista de arquivo
com os caminhos dos 45 arquivos da climatologia que também foi gerado com
o script anterior, com os arquivos abertos ele define a área com os valores de
latitude e longitude e através de funções do GRADS obtêm o número de pontos
na área desejada. Com o numero de pontos definidos o script então utiliza uma
mascara para obter todos os valores de chuva que são maiores ou iguais a 10
mm que ocorreram sobre o continente, valores menores que isso, ou que se
encontram sobre o oceano, irão gerar uma entrada Undef em um arquivo
intermediário e na lista final esses valores serão descartados deixando
somente os valores relevantes ao estudo, gerando o arquivo final com os
valores de precipitação que estão na área desejada, referentes às datas e lags
definidos nos anos da climatologia.
O segundo script GRADS irá realizar o mesmo processo descrito acima, com a
diferença que ele utiliza o arquivo que possui os 15 arquivos para a data alvo
ele também gera um arquivo com os valores de precipitação para a área de
estudo.
Esses dois arquivos serão utilizados no script R que irá criar o gráfico com as
duas curvas gamas referentes à climatologia e previsão, o script R recebe
como dados de entrada o conjunto de valores de pontos de grade da
climatologia e da previsão e atribui esses valores para dois vetores diferentes,
a partir desses vetores o R calcula os valores alfa e beta, componentes da
curva gama e utilizando a função pgamma gera uma curva. Ao se colocar as
curvas lado a lado pode se perceber alguns detalhes importantes na definição
do índice, como a distancia entre as curvas de previsão e climatológica ao
longo dos quantiles, e se a curva de previsão está com valores superiores a
climatológica, o que pode indicar um evento extremo. A partir das mesmas
listas que geraram as curvas também é executado um segundo programa
escrito em R que gera os valores do índice para os 33 intervalos de quantis e o
valor final do índice acumulado para o lag que é o valor final associado ao
evento nesse determinado lag.
O fluxograma abaixo descreve como toda a operação é executada, as
informações contidas na primeira caixa são os valores que serão inseridos
como argumento do primeiro script, as caixas com bordas arredondadas
representam os scripts envolvidos no processo, as outras caixas retangulares
representam os arquivos que são gerados nas diferentes etapas e as setas
representam o fluxo de dados:
Figura 1 – Organograma da ferramenta com scripts, dados de entrada e
nomes de arquivos de saída.
geralista.sh
graficocdf.operacional.gs
gamma.r
Data, Lag, Latitude Inicial, Latitude Final, Longitude inicial, Longitude Final
listacdf.txt listacdf.oper.txt
listacdf.clim.out listacdf.prev.out
clim.prev.bmp
graficocdf.gs
indice.r
indice.txt
2.2 MÉTODO DE AVALIAÇÃO
Para avaliar o desempenho da ferramenta, foram selecionados eventos
extremos ocorridos durante o ano de 2012, na Região Sul do Brasil. O ano de
2012 foi escolhido porque é o primeiro ano subsequente aos três anos que
compõem a climatologia do SPCON (2009, 2010 e 2011). A Região Sul foi
definida de acordo com Marengo et al. (2003). Naquele trabalho os autores
tiveram como objetivo validar a variabilidade climática do MCGA do
CPTEC/INPE em diversas regiões de conhecido regime climático no planeta.
Eles delimitaram uma região retangular com características de precipitação
homogênea na Região Sul. Esta região é limitada ao sul e a norte
(respectivamente) pelos paralelos 34,70S e 22,80S; e a oeste e leste
(respectivamente) pelos meridianos 60W e 49,40W.
Figura 2 – Imagem da área definida em Marengo et al. (2003) e utilizada para
avaliação no presente estudo.
Dentre os eventos disponíveis para esse ano e área foi dado importância a três
eventos de destaque: i) um ciclone extratropical considerado o mais intenso
das últimas duas décadas, ocorrido no Rio Grande do Sul e Uruguai entre os
dias 22 e 23 de outubro de 2012; ii) um temporal ocorrido no sul do Brasil em
26 de abril de 2012 e iii) tempestades severas ocorridas no Rio Grande do Sul
em 31 de dezembro de 2012.
Tendo estes eventos como eventos-alvo foi feita a rodada do modelo de
previsão por conjuntos para os lags de 360, 240, 120, 96, 72, 48 e 24 horas
para o dia do evento extremo, as rodadas foram feitas utilizando-se da previsão
de 00Z. A ferramenta foi testada para cada uma dessas datas e lags, obtendo-
se assim sete gráficos para cada dia de evento.
3. RESULTADOS
A partir dos conjuntos de figuras para cada um dos dias escolhidos para o
estudo, pode se ver o comportamento da ferramenta em três estudos de caso
distintos. Cada gráfico gerado pela ferramenta é composto de duas curvas,
uma preta representando a previsão e uma vermelha representando a
climatologia, quando a curva de previsão se encontra a direita da curva
climatológica é possível concluir que ali está representado uma indicação de
evento extremo, já que os valores de um único conjunto de previsões para um
dia estão superiores aos acumulados dos três anos da climatologia. Também
se deve notar que os pontos mais altos na curva devem ter maiores pesos, pois
indicam valores mais elevados de chuva acumulada. Nos casos em que a
curva preta está à esquerda ou sobre a climatologia podem ser considerados
que um evento não foi detectado. Para um melhor estudo dos dados, foi criado
mapas usando o software R em que os valores extremos de todos os membros
da climatologia e a previsão são plotados sobre a área de estudo, permitindo
assim ter uma melhor visão de onde os eventos realmente foram previstos.
3.1 Primeiro Estudo de Caso (26 de abril de 2012)
No primeiro estudo de caso, ocorrido no dia 26 de abril de 2012, o evento foi
relacionado a várias cidades do Paraná e Santa Catarina que registraram
chuvas relativas entre 65 a 87 por cento da média acumulada de 24 horas para
a região de acordo com boletim técnico gerado pelo grupo de Previsão de
tempo do CPTEC. Nesse caso a ferramenta teve os seguintes resultados:
Pode-se ver a curva prevista a direita da climatologia nos lags de 360, 120, 72
e 48 horas; no lag de 96 horas, a curva prevista esteve todo o tempo a direita
da climatologia, com exceção somente no ultimo quantil; no lag de 240 horas
as curvas foram semelhantes e no lag de 24 horas a curva de previsão estava
à esquerda da climatologia.
Neste caso pode-se considerar que a ferramenta foi eficiente, no lag de 240
horas em que as curvas são semelhantes pode-se ver a curva de previsão
ligeiramente à frente em alguns pontos do meio e topo da curva, nos casos em
que a ferramenta detectou o evento a curva de previsão se destaca claramente
à climatológica e mesmo no lag de 96 horas em que o ultimo quantil não é
superior ao climatológico todo o resto da curva destaca um evento extremo,
sendo que somente no lag de 24 horas a ferramenta foi ineficiente. Outro fato
valido de nota é que pode se considerar uma recorrência da verificação do
evento durante um período considerável da previsão (lags de 120 a 48 horas).
Abaixo se encontra os gráficos dos lags de 120, 96 e 24 horas para
exemplificar os resultados da ferramenta.
Figura 3 – Curva para o dia 26 de abril de 2012 as 00Z com lag de 120 horas,
e mapas com representação dos valores extremos para a climatologia e
previsão, nesse caso exemplificando uma detecção de evento extremo.
EFI= 0,24066578
Figura 4 – Curva para o dia 26 de abril de 2012 as 00Z com lag de 96 horas, e
mapas com representação dos valores extremos para a climatologia e previsão
nesse caso pode se ver que a curva da previsão é superior em todos os pontos
exceto no ultimo, no entanto, pode-se observar a detecção do evento.
EFI= 0,14692147
Figura 5 – Curva para o dia 26 de abril de 2012 as 00Z com lag de 24 horas, e
mapas com representação dos valores extremos para a climatologia e
previsão, um caso em que a ferramenta não conseguiu detectar o evento.
EFI= -0,08548008
3.2 Segundo Estudo de Caso (31 de dezembro de 2012)
No segundo caso do dia 31 de dezembro de 2012, o evento visto se refere à
tempestade que atingiu o Rio Grande do Sul, sendo o máximo observado de 84
mm/dia em Santa Maria. Neste caso, a ferramenta desenvolvida indicou uma
curva de previsão à direita da curva climatológica nos lags de 360 e 240 horas,
no lag de 120 horas as curvas foram praticamente coincidentes, nos outros
lags a ferramenta não conseguiu detectar o evento.
Uma possível justificativa para esse comportamento é o fato da área do evento
ser bem inferior ao total da área de estudo, dessa forma eventos na
climatologia que ocorreram em outras áreas são detectados como mais
influentes, como pode-se observar nos mapas gerados.
Figura 6 – Curva para o dia 31 de dezembro de 2012 as 00Z com lag de 360
horas, e mapas com representação dos valores extremos para a climatologia e
previsão, Apesar do ultimo ponto não estar à esquerda da climatologia a curva
é consistente durante os outros lags.
EFI= 0,1022813
Figura 7 – Curva para o dia 31 de dezembro de 2012 as 00Z com lag de 240
horas, e mapas com representação dos valores extremos para a climatologia e
previsão, Valores consistentes com os de um evento extremo durante toda a
curva.
EFI= 0,14096564
Figura 8 – Curva para o dia 31 de dezembro de 2012 as 00Z com lag de 120
horas, e mapas com representação dos valores extremos para a climatologia e
previsão, Neste caso as curvas são praticamente equivalentes e não mostram
um evento extremo, a partir desse lag os valores de previsão estão
consistentemente à esquerda e não exibem nenhum resultado que seja
relevante para o estudo.
EFI= 0,000666235
3.3 Terceiro Estudo de Caso (22 de outubro de 2012)
No ultimo exemplo que ocorreu no dia 22 de outubro de 2012, tem-se um
evento de ciclone extratropical que foi considerado o mais intenso das últimas
décadas sobre a região do Uruguai e Rio Grande do Sul. Neste caso a
ferramenta teve o seu melhor desempenho, a ferramenta detecta a partir do lag
de 120 horas uma curva de previsão à direita da climatológica, e mantém esse
resultado de forma consistente, especialmente nos lags de 48 e 24 horas com
valores extremos de previsão bem distanciados dos climatológicos. Nos lags de
360 e 240 horas a ferramenta não detectou o evento embora nesses dois
casos as curvas observadas estão bem próximas as curvas climatológicas.
Figura 9 – Curva para o dia 22 de outubro de 2012 as 00Z com lag de 120
horas, e mapas com representação dos valores extremos para a climatologia e
previsão, primeira detecção do evento com valores de previsão
constantemente superiores à climatologia.
EFI= 0,203432574
Figura 10 – Curva para o dia 22 de outubro de 2012 as 00Z com lag de 48
horas, e mapas com representação dos valores extremos para a climatologia e
previsão, Caso de grande destaque onde o valor máximo do conjunto
climatológico encontra-se um pouco acima de 50 e o valor da previsão atinge
um valor superior a 200, essa foi a maior diferença entre curvas observada.
EFI= 0,282175965
Figura 11 – Curva para o dia 22 de outubro de 2012 as 00Z com lag de 24
horas, e mapas com representação dos valores extremos para a climatologia e
previsão Outra detecção do evento onde a diferença entre a climatologia e a
previsão pode ser claramente observada.
EFI= 0,314825564
CONCLUSÃO
De forma geral pode-se fazer algumas observações relevantes à ferramenta.
Nos casos que vimos, quanto maior a área do evento em relação à área de
estudo melhores resultados podem ser obtidos, isso provavelmente é
facilmente relacionado à resolução do modelo, no caso da área definida para o
estudo (22,80S-34,70S; 49,40W-60W) ela possui um total de 195 pontos na
resolução do modelo, o melhor resultado é obtido quando se observa um
evento que cobre um maior subconjunto dessa área.
Em casos onde existem áreas menores para ser observadas, como no caso 2,
observa-se também que os melhores resultados se obtêm nos lags mais
afastados (360 e 240), coincidentemente nos casos em que a área é maior os
lags mais próximos obtém melhores resultados (120, 96, 72, 48 e 24).
No caso 1 a ferramenta apresentou um comportamento bom, mantendo uma
consistência na exibição de um evento em quatro lags consecutivos e um total
de cinco acertos dentre os sete lags. Nesse caso o único resultado pouco
satisfatório encontra-se no caso de 24 horas onde a ferramenta não detecta o
evento. Esse erro, no entanto pode ser atribuído à área de estudo ser maior do
que a área do evento, o que impede que a detecção ocorra devido a presença
de outros sistemas de grande intensidade em outras áreas da climatologia.
No caso 2, a ferramenta não apresentou um comportamento satisfatório, pois
somente detectou o evento em dois dos sete lags, ao observar os mapas de
valores extremos pode se ver que o tamanho da área do evento em
comparação com a área de estudo novamente influencia na detecção. Nos lags
de 360 e 240, pode se ver no mapa que se comparando os valores sobre a
área de Santa Maria, os valores da previsão são superiores aos da
climatologia, ao se aumentar a área, no entanto, outros sistemas na
climatologia são mais relevantes durante a comparação.
No caso 3, a ferramenta apresenta um ótimo comportamento, com acertos em
cinco lags consecutivos dentre os sete lags do estudo, ao observar os mapas
de valores, pode se ver claramente nos mapas de previsão o evento cobrir
grande parte da área de estudo, o que proporcionou uma grande facilidade em
se detectar o evento.
Outra nota de importância a ser feita é verificar que em todos os casos o valor
final do EFI corrobora os resultados observados nas figuras, onde valores
positivos aparecem nos casos de eventos extremos e valores negativos
aparecem quando a ferramenta não detecta.
Algumas notas que podem ser colocadas para melhoria, seria um possível
aumento da amostragem climatológica com a adição de um dia posterior ou
anterior à data alvo, na lista de arquivos climatológicos, ou mesmo adição de
novos anos para se ter uma melhor amostra de controle para as comparações.
Outra observação que se destaca como a mais relevante seria a necessidade
de se utilizar modelos de maior resolução, para que domínios menores possam
ser melhores representados, ou então definir a área de utilização somente para
pequenas áreas ao redor das cidades para as quais o CEMADEN emite os
alertas, uma vez que ficou claro durante os experimentos de validação que
quanto menor a diferença entre a área observada e a área do evento melhores
resultados são observados na detecção.
REFERÊNCIAS BIBLIOGRÁFICAS
Marengo, J. A., Cavalcanti, I.F.A, Satyamurty, P., Trosnikov, I., Nobre, C.A., Bonatti, J. P., Camargo, H., Sampaio, G., Sanches, M. B., Manzi, A. O., Castro, C.A.C., D'Almeida, C., Pezzi. L.P., Candido, L., 2003: Assessment of regional seasonal rainfall predictability using the CPTEC/COLA atmospheric GCM. Climate Dynamics (2003) 21: 459–475.
Kinter, J. L. and collaborators: The COLA Atmosphere-Biosphere General Circulation Model., Tech. Rep. 51, Center for Ocean-Land-Atmosphere Studies, Calverton, USA, volume1: Formulation, 1997.
Zhang and T. N. Krishnamurti, 1999: A perturbation method for hurricane ensemble predictions. Mon. Wea. Rev., 127, 447-469.
Hamill, T. M., J. S. Whitaker, and X. Wei, 2004: Ensemble reforecasting: Improving medium-range forecast skill using retrospective forecasts. Mon. Wea. Rev., 132, 1434–1447.
Hamill, T. M., J. S. Whitaker, and S. L. Mullen, 2006: Reforecasts: An important dataset for improving weather predictions. Bull. Amer. Meteor. Soc., 87, 33–46.
Lalaurete, F, 2003: Early detection of abnormal weather conditions using a probabilistic extreme forecast índex. Q. J. R. Meteorol. Soc. (2003), 129, pp. 3037–3057.
Stephenson, D. B, 2005: Data analysis methods in weather and climate research. Department of Meteorology University of Reading. Disponível em < http://empslocal.ex.ac.uk/people/staff/dbs202/cag/courses/MT37C/course-d.pdf>. Acessado em: 19 set. 2013.