www.cptec.inpe.br cptec centro de previsÃo do tempo e estudos climÁticos detalhes da execução do...

www.cptec.inpe.br

CPTECCPTEC CENTRO DE PREVISÃO DO TEMPO E ESTUDOS CLIMÁTICOSCENTRO DE PREVISÃO DO TEMPO E ESTUDOS CLIMÁTICOS

Detalhes da ExecuçãoDetalhes da Execuçãodo GBRAMSdo GBRAMS

Jairo PanettaJairo Panettasetembro de 2005setembro de 2005

www.cptec.inpe.br

Climatologia

Médias (tipicamente uma por mês) de determinadas variáveis (temperatura, precipitação, umidade, etc...) de cada ponto de grade.

Climatologia de X anos significa que as médias são obtidas sobre dados de X anos.

Permite prever clima a partir de anomalias (diferenças entre a previsão e a climatologia), potencialmente eliminando viés do modelo previsor.

Geraremos climatologia de um modelo meteorológico (BRAMS) para determinadas áreas do país, com resolução de 40 km, com parâmetros de execução fixos, alimentado por modelo global do CPTEC com resolução de 200 km.

www.cptec.inpe.br

Formas de Climatologia

IRI: Uma execução contínua do modelo por X anos. Médias mensais sobre os X anos de cada mês (colapsa anos).

ECMWF: Uma execução de 3 meses do modelo iniciada a cada mês e ano dos dados de entrada (12X execuções de 3 meses). Médias de cada um dos 3 meses das execuções iniciadas no mesmo mês (colapsa anos).

Em qualquer caso, variando a data de início do modelo global, geram-se previsões distintas (membros). Qualquer climatologia computa média sobre todos os membros.

Geraremos climatologia sobre 50 anos, 3 membros.

Propomos iniciar com formato IRI. Se houver tempo, ECMWF.

www.cptec.inpe.br

Áreas Geográficas

Brasil particionado em três regiões: NorteNordesteSudeste e Sul

Duas propostas de grade para cada região:Otimizada (Pedro)Usuários reais (Enio e Pedro) e potenciais (Jaci)

Duas grades em cada execução:Grade externa cobrindo área de dados do CPTEC;Grade interna (otimizada ou usuários)

www.cptec.inpe.br

Norte

Otimizada 70x54

Usuários 78x54

www.cptec.inpe.br

Nordeste

Otimizada 54x46

Usuários 82x82

www.cptec.inpe.br

Sul - Sudeste

Otimizada 58x58

Usuários 68x74

www.cptec.inpe.br

Forma de Execução

BRAMS permite interromper integrações e recomeçar (checkpoint-restart). Proponho interromper a cada ano.

Regiões com execução independente (três execuções por ano e membro).

Há 3 áreas geográficas e 3 membros (nove grupos de execução).

50 execuções de um ano em cada grupo.

Total: 450 execuções (50 execuções dependentes em cada um dos 9 grupos independentes)

Há script de execução gerado pelo Eugênio + Roberto + LAC

www.cptec.inpe.br

Custos - Usuários

Por dia

(s)

Por ano

(dias)

10 anos, 3 membros

(dias)

Norte 390 1,65 49,4

Nordeste 595 2,51 75,41

Sul 460 1,94 58,30

Soma 6,10 183,13

Por cluster 2,03 61,04

17 Xeon 2,6 GHz, 1GB – Fase Initial

www.cptec.inpe.br

Custos - Otimizada

Por dia

(s)

Por ano

(dias)

10 anos, 3 membros

(dias)

Norte 355 1,50 39,23

Nordeste 260 1,10 32,95

Sul 310 1,31 39,29

Soma 3,91 117,23

Por cluster 1,30 39,08

17 Xeon 2,6 GHz, 1Gb – Fase Initial

www.cptec.inpe.br

Detalhes da Execução - I

Portal mantém lista de tarefas. Classifica cada tarefa em:Aguardando anterioresPronta a executarEm execuçãoConcluídaAceita

Portal escolhe o cluster com menor carga para enviar tarefa.

Portal mantém uma tarefa em execução por cluster.

Portal é alimentado com novas tarefas em duas situações:InicializaçãoTarefas concluídas mas rejeitadas

Um grupo de 10 anos para cada proposta de middleware40 a 60 dias de integração (acrescentar geração de dp, iv, sfc)

www.cptec.inpe.br

Detalhes da Execução - II

Cálculo da climatologia de duas formas:Médias calculadas nos clusters durante integração (esquema 1)Médias calculadas no portal após execução (esquema 2)

Vantagens e desvantagens:Esquema 1 reduz tráfego e disco mas dificulta verificação;Esquema 2 aumenta tráfego e disco mas permite melhor verificação

Discos durante uma execução (estimado para grade N otimizada):5 GB para esquema 190 GB para esquema 2133 GB para todos os dados gerados pelo global Sugiro reservar pelo menos 400 GB de discos em cada cluster

Tráfego de dados em uma execução (estimado para grade N otimizada):716 MB no primeiro esquema86 GB no segundo esquema

www.cptec.inpe.br

Detalhes da Execução - III

Fases de cada processamento:geraDP.sh transforma arquivos gamrams em arquivos dpBRAMS em modo MAKESFC produz arquivos de superfície e sstBRAMS em modo MAKEVFILES gera arquivos ivBRAMS em modo INITIAL gera previsãoRAMSPOST pós-processa previsão e GRADS gera figuras

Otimizações possíveis:Número de processadores por execução INITIAL (única fase com tempo de execução medido)Eliminar fase geraDP

Definir quais dados trafegar pela redeEscolher dentre os dois esquemas

Falta experimentação básicaEm poucas semanas