grid computing simulation
DESCRIPTION
Grid Computing Simulation. Jefferson Amorim Matheus Levi Pedro Corrêa Péricles Miranda. Contexto Histórico. Proliferação da internet; Disponibilidade de computadores poderosos; Redes de alta velocidade; Mudança na forma como se faz computação distribuída e paralela. Contexto Histórico. - PowerPoint PPT PresentationTRANSCRIPT
Grid Computing Simulation
Jefferson AmorimMatheus LeviPedro Corrêa
Péricles Miranda
Contexto Histórico
• Proliferação da internet;• Disponibilidade de computadores poderosos;• Redes de alta velocidade;
Mudança na forma como se faz computação distribuída e paralela.
Contexto Histórico
• Avanço -> Redes de computadores como um computador, unificando recursos computacionais. (Cluster)
• 1990 surge uma infra-estrutura de acesso a recursos distribuídos (geograficamente) capaz de solucionar problemas em larga escala. (Grid)
• Cloud Computing
Conceito
Grids Computacionais são infra-estruturas de hardware e software que permitem o compartilhamento, seleção e agregação de recursos “autônomos” distribuídos, em tempo de execução, dependendo de sua disponibilidade, capacidade, performance, custo e exigência de QoS.
Alto Nível
Benefícios
• Compartilhamento coordenado de recursos;• Solução de problemas multi-institucionais;• Usuário acessa recursos, globalmente distribuídos, com
facilidade;• Melhora da produtividade com tempo de processamento
reduzido;• Liberação de recursos extras caso necessário;• Infra-estrutura flexível;• Controle de recursos, evitando-se desperdício;• QoS;• Esforço de administração reduzido, devido a sua modularização.
Dificuldades
Segurança O que pode ser acessado? Quem pode acessar?
Autoridade e prioridade sobre recursos Proprietários e usuários
Latência de comunicação na internet Troca de informações
Criação de políticas de escalonamento
Arquitetura do Grid
• SOA e WS são bastante utilizados na construção do middleware e aplicações.
• Arquitetura dividida em 4 camadas:– Fabric– Core Middleware– User-Level Middleware– Applications
Arquitetura do GridFabric
• Computadores de baixo e alto recursos;• Estrutura de rede;• Instrumentos científicos;• Sistemas de gerenciamento de recursos.
Arquitetura do GridCore Middleware
• Serviços de segurança para acesso remoto de recursos;
• Gerenciamento de acesso e segurança;• Submissão de trabalhos de forma remota;• Armazenamento;• Informação de recursos.
Arquitetura do GridUser-Level Middleware
• Provê ferramentas de mais alto nível:– Resource brokers;– Ambiente de desenvolvimento de aplicações;
Arquitetura do GridApplications
• Construídas com uso de bibliotecas específicas do Grid;• Aplicações legadas que podem ser adaptadas usando-se
User-Level Middleware.
• Diversas aplicações:– Diagnóstico de engine aérea;– Engenharia contra abalos sísmicos;– Bioinformática;– Descoberta de novas drogas;– Análise de imagens digitais;– Jogos multi-player.
Tipos de Grid
• Computational Grid– Poder computacional de diversos computadores
distribuídos;• Data Grid– Gerenciamento de dados, provendo acesso,
integração e processamento distribuído;
Tipos de Grid
• Application Service Provisioning– Provê acesso à aplicações, módulos e bibliotecas
remotas, hospedadas em data centers e CG;• Interaction Grid– Interação e visualização colaborativa entre
participantes.
• Knowledge Grid– Aquisição, processamento, gerenciamento de
conhecimento, provendo serviços de análise orientado à data mining.
• Utility Grid– Poder computacional, dados, serviços para
usuários finais, negociação de QoS, estabelecimento e gerenciamento de contratos; gerenciamento e alocação de recursos.
Tipos de Grid
• Camada de serviços onde a camada acima utiliza os serviços da camada abaixo.
Tipos de Grid
Características
• Recursos Heterogêneos• Vários sistemas operacionais• Aplicações com exigências diversas
Recursos e Usuários finais
• Possuem necessidades, objetivos e demandas diferentes
• Separados geograficamente• Possuem fuso horários diferentes
Tipo de gerenciamento
• Centralizado• Hierárquico• Descentralizado• Combinação dos demais
Limitações e Potenciais
• Real– É caro e trabalhoso montar um sistema em grid– Difícil criar um ambiente controlado e repetível
• Simulado– Não precisa fazer analises desnecessárias– Evita sobrecarga de coordenação dos recursos
reais– Eficaz em grandes problemas hipotéticos.
Comparativo
Comparativo
Ferramentas de Simulação de Grids
Funcionalidades Modelagem de recursos computacionais
heterogêneos Armazenamento de informações sobre os
recursos disponíveis Especificação de uma topologia de rede arbitrária
a ser simulada Poucas ferramentas disponíveis
Ferramentas de Simulação de Grids
OptorSim Imita estrutura de uma Grid de Dados Analisa efeitos da replicação e otimização de dados Incorpora modelos econômicos empresariais Ponto negativo: tipo de Grid restritivo
SimGrid Simula aplicações agendadas Modelagem de recursos com time-share
Ferramentas de Simulação de Grids
MicroGrid Criado a partir do Globus, software de criação de Grids Emula o funcionamento de Grids criadas no Globus Resultados próximos aos reais Ponto negativo: conhecimento prévio do Globus
GangSim Análise de carga de utilização e tarefas agendadas Técnicas de simulação discreta Modela Grids reais para testes de escalonamento
Ferramentas de Simulação de Grids
GridSim Desenvolvido pela Universidade de Melbourne Suporta vários tipos de Grids Simula carga de utilização Replicação de dados Reserva de recursos
GridSim Toolkit
• Plataforma de software de código aberto• Permite aos usuários simular um modelo de Grid– Características dos recursos– Redes com configurações diferentes
• Permite testar novos algoritmos e estratégias de Grid em um ambiente controlado
• Realiza experimentos que não são possíveis de serem executados em um ambiente de Grid dinâmica real.
GridSim Toolkit
• Características:– Simulação de traços de carga real de trabalho– Interfaces bem definidas para implementação de
algoritmos de alocação– Permite a modelagem de diferentes características
dos recursos, além de suas propriedades de falha
GridSim Toolkit
• Arquitetura:– Multicamada• Facilmente extensível
– Utiliza o SimJava• Pacote de simulação de eventos discretos de propósitos
gerais.
GridSim Toolkit
• Arquitetura:
GridSim Toolkit
• Extensões:– Grid Scheduling SIMulator (GSSIM)– Grid Network Buffer (GNB)– Alea Grid Simulator– Grid Agents Platforms (GAP)– Web-based Grid Scheduling Platform (WGridSP)
GridSim Toolkit
• Largamente utilizado e estendido por pesquisadores– Investigação de alocação de recursos em clusters
baseados em SLA– Coordenação de recursos provenientes de Grids
federados– Escalonamento de dados e workflows de Grids
GridSim Toolkit
GridSim Toolkit
Estudos de caso
GridSim Toolkit
• Meta-escalonadores para Business Grids– IBM India Research Lab– Data replication and Execution CO-scheduling
(DECO)• Escalona os dados e os jobs para os recursos
selecionados de acordo com uma SLA do usuário
GridSim Toolkit
GridSim Toolkit
• Aplicações paralelas em CrossGrid– University of Santiago (Espanha)– Comparação de vários algoritmos de
escalonamento e simulação de um CrossGrid– Utilizou-se parâmetros de testbed de Grid real
GridSim Toolkit
GridSim Toolkit
• Escalonamento de storage-aware workflow– University of Southern California– Otimizar a utilização dos discos ao escalonar
grandes workflows que manipulam dados em recursos distribuídos
– Utilizou-se o workflow Laser Interferometer Gravitational Wave Observatory (LIGO)
GridSim Toolkit
Conclusão
• As ferramentas de simulação de Grid concedem diversos benefícios– Possibilidade de repetir experimentos em Grids
dinâmicos– Simular novas estratégias e técnicas utilizadas em
Grids a um baixo custo
Referências• Artigo: “SIMULATION OF GRID COMPUTING INFRASTRUCTURE:
CHALLENGES AND SOLUTIONS ”, submetido por Sugato Bagchi para a Conferência Proceedings of the 2005 Winter Simulation.
• Artigo: “Service and Utility Oriented Distributed Computing Systems: Challenges and Opportunities for Modeling and Simulation Communities”, escrito por Rajkumar Buyya e Anthony Sulistio.
• Artigo: “GridSim: a toolkit for the modeling and simulation of distributed resource management and scheduling for Grid computing”, submetido por Rajkumar Buyya e Manzur Murshed.
• Monografia de Lilian Felix de Oliveira com o tema “Ferramenta para Simulação de Escalonamento em Grids Computacionais ”.
Obrigado!