inpe outubro, 2008 - divis??o de processamento de imagens · projeto: inpe –outubro ... análise...
TRANSCRIPT
Fabiana. S. Santana, César Bravo, Antonio. M. [email protected], [email protected]
Apoio: Instituição:
Projeto:
INPE – Outubro, 2008
Objetivos:
Apresentar versão de alto desempenho para o Garp‾ Aplicação de algoritmos paralelos‾ Máquinas paralelas consideradas: cluster‾ Comunicação usando MPI (Massive Parallel Interface)
Mostrar alguns resultados de desempenho‾ Testes realizados no cluster – Poli/USP com espécies selecionadas
Obs.:1. O algoritmo considerado como base para o estudo foi o Garp com
openModeller implementation.2. O artigo correspondente aos algoritmos aqui apresentados está em fase de
submissão para publicação em revista científica.
Problema:
Tempo “grande” para a geração de um modelo, considerando especialmente:
‾ Muitos layers ambientais‾ Resolução adotada para análise dos layers
resulta em muitos pontos/pixels
Resultados para alguns casos reais: ‾ De horas a dias !!!
Análise de desempenho realizada na Poli-USP:‾ Etapas que mais consomem tempo (como esperado):
Execução do algoritmoProjeção do modelo
Algoritmo = seqüência de passosMelhoria de performance:
Se o algoritmo estiver correto, presume-se que todos os passos são necessários para resolver o problema.
Alternativa seqüencial: criar novos algoritmos (ex.: ordenação)... …mas este tipo de solução já existe de sobra, por exemplo, no openModeller, porém o problema é diferente e a abordagem não vale.
NO MAGIC!
Step 1
Step 2
Step N
...
Supercomputadores:Eficiência e utilização podem depender da arquitetura
Exemplos:− Um só superprocessador (muito rápido e poderoso)
− Cluster - Network of Workstations
− Constelation - “cluster of clusters´´
− Etc.
Curiosos:− Consultar: http://www.top500.org/
− 500 supercomputadores mais rápidos do mundo!
− Detalhes sobre suas arquiteturas
Supercomputadores:Cluster é opção mais adotada (boa relação custo - benefício):
− Máquinas com vários processadores e fast switch (comunicação rápida)
− Cada um dos p nós da figura: processador + memória
Implementações comuns para cluster:− Instâncias do mesmo algoritmo em diferentes nós, sob diferentes condições
− Quantidade maior de modelos gerados no mesmo período de tempo
Úteis para, e.g.: experimentação, análise de sensibilidade, modelagem “em massa”!
Resultado: maior throughput , mas …
... a performance de cada algoritmo será a mesma!
1 2 P...
Cluster with p nodes - each node: processor + memory
Algoritmos paralelos:Quebrar a “barreira de software”:
‾ Software específico para acompanhar o desempenho do hardware
Explorar os recursos da máquina:
− Tirar máximo de vantagens do hardware
Combinar resultados obtidos em instâncias distintas para resolver
o mesmo problema
Necessitam de modelo de computação adequado ao hardware
(Obs.: O projeto de algoritmos seqüenciais são baseados na Máquina de von Neumann, também definida como RAM por Cormen, Leiserson, Rivest, )
PRAM:Famoso, teórico, mas inadequado para clusters
BSP (Bulk-Synchronous Parallel):Valiant, 1990Algoritmo é seqüência de superpassos
− Rodadas de computação local− Rodadas de comunicação− Análise dos algoritmos consideram os dois
CGM (Course-GrainedMulticomputer):
Dehne, 1996Versão simplificada do BSP
− Análise simplificada, baseada apenas no número de rodadas − Supõe minimização do tempo de uso dos recursos (preferir: # pequeno msgs grandes,
redução de troca de contexto, etc.)
Step 1
Step 2
Step N
...
Step 1
Step 2
Step N
...
Step 1
Step 2
Step N
...
Furcata boliviana - 100 iterations
GARP P-GARP GARP P-GARP
Furcata boliviana - 400 iterations
Unknown species - 20 iterations
GARP P-GARP P-GARP
Unknown species - 100 iterations
GARP P-GARP
T(GARP) T(PGARP) np speedup efficiency
0,68817 0,6817 1 1,01 1,01
0,68817 0,4176 2 1,65 0,82
0,68817 0,3545 3 1,94 0,65
0,68817 0,2919 4 2,36 0,59
0,68817 0,2708 5 2,54 0,51
0,68817 0,2436 6 2,83 0,47
0,68817 0,2414 7 2,85 0,41
0,68817 0,2144 8 3,21 0,40
0,68817 0,2119 9 3,25 0,36
0,68817 0,2285 10 3,01 0,30
0,68817 0,2362 20 2,91 0,15
0,68817 0,2233 40 3,08 0,08
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
0 10 20 30 40 50
Sp
eed
Up
#processors
Speedup x #processors
Obs.:
O speedup representa o
número de vezes que um
algoritmo paralelo é mais
rápido do que um
seqüência, considerando
o melhor algoritmo
seqüencial disponível.
Desempenho dos algoritmos genéticos paralelosP-GARP:
− Em média, 3 vezes mais rápido do que o GARP, para 8 processadores − Resultado pode ser considerado bastante bom, já que computação paralela pode ser
comparada, em uma “associação livre”, com a construção de um prédio− Em outros clusters, pode ter resultados de desempenho diferentes, mas sempre haverá
um limite superiosr para o speedup (quando o tempo de comunicação ultrapassar o tempo de computação local)
Outras variações− Resultado esperado: ainda melhor – porque a paralelização é “trivial”
Objetivos:
Apresentar AdaptGARP – versão de algoritmo adaptativo para o Garp
‾ Aplicação de algoritmos adaptativos‾ Técnica adaptativa: tabela de decisão
Mostrar alguns resultados de desempenho‾ Testes comparando Garp com AdaptGARP
Obs.:O AdaptGARP já foi apresentado e publicado: César Bravo, João J. Neto,Fabiana S. Santana, Antonio M. Saraiva, “Towards an adaptiveimplementation of genetic algorithms”, In: XXXIII Latin AmericanInformatics Conference (CLEI – INBI), Proceedings, 2007.
Motivação (Por que fizemos?):
Adaptividade:‾ Propriedade de alguns sistemas ou dispositivos/equipamentos de
auto-modificarem o seu conjunto de operações e regras básicas de funcionamento
‾ A adaptatividade depende exclusivamente do histórico de uso ou execução do sistema, sem ajuda externa
‾ Ex.: Adaptive Automata (AA), Adaptive Grammars (AG), Adaptive Decision Table (ADT), etc.
‾ Técnica adaptativa: tabela de decisão
IF x1 [A11, B11] AND x2 [A12, B12] AND … xk [A1k, B1k] THEN PRESENCE
GARP – Furcata boliviana
AdaptGARP– Furcata boliviana
Observe que a precisão
dos modelos
adaptativos é mantida!
Trabalhos futuros:Validar e aprovar com os especialistas e pesquisadores em modelagem de nicho ecológico
Melhorar, a partir dos resultados dos especialistas e pesquisadores em modelagem de nicho ecológico, a construção da tabela de decisão
Conclusão:O AdaptGARP mantém o desempenho do GARP original
Pelos testes realizados, é difícil dizer que a qualidade do modelo gerado pelo AdaptGARP se altera, em relação à qualidade do modelo gerado pelo GARP
