workflows científicos

Download Workflows científicos

Post on 01-Jul-2015

61 views

Category:

Technology

2 download

Embed Size (px)

DESCRIPTION

Apresentação do NAPSOL =)

TRANSCRIPT

Ttulo da apresentao

EXECUO DE WORKFLOWS CIENTFICOS EM NUVENS COMPUTACIONAIS

Elaine Naomi WatanabeInstituto de Matemtica e Estatsticaelainew@ime.usp.br

Workshop do Ncleo de Apoio Pesquisa em Software LivreSo Carlos, 16 a 17 de Outubro de 2014.

Workflows cientficos

Um workflow cientfico a automao de experimentos ou processos cientficos, expressa em termos das atividades a serem executadas e das dependncias dos dados manipulados.

Workflows cientficos

Conjunto de tarefas interligadasAquisio

Processamento

Anlise

Visualizao

etc

Grafo direcionado acclico (DAG)

Grandes quantidades de dados

Workflows cientficos

Workflows cientficos

Modelo do workflow cientfico Montage.Fonte: Ewa Deelman. Grids and Clouds: Making workflows applications work in heterogeneous distributed environments, 2010.

Aplicaes

Astronomia, medicina, bioinformtica, viso computacional, geofsica, neurocincia, etc.

Por exemplo...A fase piloto do projeto 1000 genomes, comparando o genoma de 629 indivduos, gerou: 7,3 terabytes = 7,3 x 1012 bytes

Sistema Gerenciador de Workflows Cientficos (SGWfC):

um sistema que permite a descrio de um experimento cientfico como um conjunto de tarefas a serem executadas de forma automtica, utilizando, para isso, a infraestrutura computacional disponvel.

Exemplos de SGWfC

Kepler http://kepler-project.org/Taverna http://www.taverna.org.uk/Askalon http://www.askalon.org/Pegasus http://pegasus.isi.edu/SciCumulus http://sf.net/projects/scicumulus

Exemplos de Simuladores de Workflows Cientficos para Nuvem

WorkflowSim

SimpleWorkflow

DynamicCloudSim

CloudSim-DVFS

Fonte: http://www.cloudbus.org/cloudsim/

Necessidade de um ambiente de alto desempenho...

A computao em nuvem tem se mostrado uma boa alternativa:

Com investimento menor que o tradicional

Com possibilidade de alocao sob demanda

Escalonamento:

seleo do recurso e do momento de execuo das atividades, otimizando objetivos como o tempo total de execuo.

Motivao

Escalonamento para execuo em nuvem:considerar informaes como restries de tempo e oramento.

Sistemas Gerenciadores de Workflows Cientficos atuais:no exploram completamente as nuvens computacionais

linguagens de modelagem possuem pouca informao de apoio ao escalonamento.

Informaes de apoio ao escalonamento:podem ser inseridas no modelo de workflow

Trabalhos em andamento

Modelagem e escalonamento de workflows cientficos em plataformas de computao em nuvem

Provisionamento dinmico de recursos para execuo de workflows cientficos em nuvens

Gerenciamento de dados de workflows cientficos em nuvens computacionais

Trabalho concludo

Economia de energia na execuo de workflows cientficos em nuvens computacionais:

Novos escalonadores de tarefas

Simulador CloudSim-DVFS (licena LGPL)

Conseguiu economia de energia na maioria dos casos, chegando at 22,7% [2].

Esse trabalho foi fruto da colaborao de pesquisadores da comunidade cientfica nacional e internacional

Software livre e a colaborao da comunidade cientfica

Entre a comunidade do IME-USP

Pedro Campos (graduao)

Elaine Watanabe (mestrado)

Prof. Dr. Daniel Batista Professor e Pesquisador da rea de Redes

Prof Dr Kelly Braghetto Professora e Pesquisadora da rea de Banco de dados

Dr. Daniel Cordeiro Pesquisador da rea de Computao de Alto Desempenho e Teoria de Escalonamento

Software livre e a colaborao da comunidade cientfica

Entre a comunidade internacional

University of Melbourne (Austrlia)Rodrigo Calheiros (CloudSim-DVFS)

Universit de Toulouse(Frana)Tom Gurout (CloudSim-DVFS)

University of Southern California (EUA)Weiwei Chen (WorkflowSim)

Grupos de pesquisam sobre workflows cientficos...

Alguns grupos que pesquisam sobre Workflows Cientficos

No BrasilUniversidade Federal do Rio de Janeiro (PESC-COPPE-UFRJ), em parceria com o Laboratrio Nacional de Computao Cientfica (LNCC)Criadores das ferramentas Chiron e SciCumulus

Universidade Estadual de Campinas (IC-UNICAMP)

Universidade de So Paulo (DCC-IME-USP)

Alguns grupos que pesquisam sobre Workflows Cientficos

Fora do BrasilUniversity of Southern California (Information Sciences Institute)Profa. Ewa DeelmanCriadores do Pegasus

University of Manchester (School of Computer Science)Profa. Carole GobleCriadores do Taverna, myGrid, myExperiment

University of Chicago (Computation Institute)Prof. Ian FosterCriadores do conceito de grade e do projeto Globus

University of Innsbruck (Institute of Computer Science)Prof. Thomas FahringerCriadores do ASKALON

Resumo

Sistemas gerenciadores de workflows cientficos so importantes para o desenvolvimento da cincia.

Existe uma carncia de escalonadores de workflows em nuvens computacionais em tais gerenciadores que explorem melhor os recursos e ambiente disponvel.

Software livre permite maior cooperao entre comunidades cientficas, alm de permitir reprodutibilidade, validao e novos experimentos.

MUITO OBRIGADA!

Elaine Watanabe (elainew@ime.usp.br)Ricardo Oda (odaric@ime.usp.br)Eduardo Cotrin (cotrin@ime.usp.br)

Orientadora: Prof Dr Kelly R. Braghetto (kellyrb@ime.usp.br)

Referncias

[1] BRAGHETTO, K. R. ; CORDEIRO, D. . Introduo Modelagem e Execuo de Workflows Cientficos. In: Salgado, Ana Carolina; Lscio, Bernadette Farias; Alchieri, Eduardo; Barreto, Priscila Sols. (Org.). Atualizaes em Informtica. 1ed.Porto Alegre: SBC, 2014, v. , p.1-40.[2] WATANABE, E. N. et al . Algoritmos para economia de energia no escalonamento de workflows em nuvens computacionais. Em: Anais do 32 Simpsio Brasileiro de Redes de Computadores e Sistemas Distribudos SBRC, 2014. Porto Alegre: Sociedade Brasileira de Computao, 2014. p. 31-44

10/15/14

10/15/14

10/15/14