Planejamento e Gerenciamento de Capacidade para Sistemas Distribudos

AgendaMotivaesA Internet e o LinuxTcnicasAquisioConsolidao e VisualizaoForecastingImpacto dos Mtodos geisVirtualizao e Cloud Computing

MotivaesNos tempos do mainframe, cada dlar investido tinha uma relao direta com a capacidade necessria, cada MIP deveria ser contabilizado e justificadoQualquer investimento em hardware tinha de ser minuciosamente estudado j que implicava muitas vezes em milhes de dlares

MotivaesCom o advento da baixa plataforma os parmetros de avaliao de desempenho foram menosprezadosO baixo custo de hardware e a facilidade para entrega em produo desse tipo de equipamento fez com que os parques de mquinas crescessem de forma desordenada

Motivaes

Motivaes

Motivaes

Motivaes

MotivaesAltos custos de manuteno de infra-estruturaInviabilidade econmica e/ou fsica de construo de novos datacentersNecessidade contnua de expansoNecessidade de alinhamento pelo pico (lead strategy) para o mercado de internetGreen Data Centers

MotivaesGuerrilla maxim 1.10: Capacity planning is not just about the future anymore. Today, there is a serious need to squeeze moreout of your current capital equipment.

Neil J. Gunther

More bang for the buck.

A Internet e o LinuxI think there is a world market for maybe five computersThomas J. Watson (?)

A Internet e o LinuxAbertura comercial da internet: circa 1988Anncio da primeira verso do kernel Linux: 1991 I'm doing a (free) operating system (just a hobby, won't be big and professional like gnu) for 386(486) AT clones.Linus Torvalds 26 de Agosto de 1991 comp.os.minix

A Internet e o LinuxTotal Sites across All Domains August 1995 July 2009Source: http://news.netcraft.com/archives/web_server_survey.html

A Internet e o LinuxTotals for Active Servers across all DomainsSource: http://news.netcraft.com/archives/web_server_survey.html

A Internet e o LinuxActive Sites across all DomainsSource: http://news.netcraft.com/archives/2009/07/28/july_2009_web_server_survey.html

Web ServerJulho de 2009PercentualApache39,371,31851.12%Microsoft18,476,48723.99%Google10,862,21614.10%nginx3,496,1534.54%Sun159,5850.21%qq.com122,9590.16%

Tcnicas de AquisioAt pouco tempo as ferramentas de anlise de desempenho da plataforma Intel foram usadas apenas para diagnstico de falhaOs contadores para CaP e diagnstico de falha muitas vezes so idnticosA diferena est em como a informao utilizada

Tcnicas de AquisioRun queue ou Load AverageProvavelmente a informao mais importante que ignorada com a maior frequncia The load average tries to measure the number of active processes at any time. As a measure of CPU utilization, the load average is simplistic, poorly defined, but far from useless. Tim O'Reilly Unix Power Tools

Tcnicas de AquisioPacote sysstat (http://bit.ly/VegQO) inclui ferramentas para avaliao de:Taxa de I/O global, por dispositivo, por partio e por taskEstatsticas de uso de CPU global, por CPU ou por taskUso de memria e swapMemria Virtual, paging, faultsEstatsticas de disparo de processosInterrupesRedeRun Queue and System Load

Tcnicas de AquisioPara a plataforma Microsoft, o Windows Performance Monitor oferece as ferramentas necessrias para a coleta de dados de praticamente todo o sistema (http://bit.ly/1241G9)

Consolidao e VisualizaoGuerrilla maxim 2.2: Monitoring vs. Modeling

The difference between performance modeling and performance monitoring is like the difference between weather prediction and simply watching a weather-vane twist in the wind.

Consolidao e VisualizaoObjetivos da consolidao e visualizao:Anlise de tendnciaConstatao de sazonalidadesAnlise do perfil de usoModelagem e validao do modelo

Consolidao e VisualizaoArmazenamento dos dados raw:Permite anlise detalhada a longo prazoMaior preciso possvel dentro do que foi especificado na coletaPode exigir alto consumo de espaoPode haver necessidade de pr-processamento devido ao grande volume de dados

Consolidao e VisualizaoArmazenamento dos dados consolidados:Limita a quantidade de informao que pode ser extradaPode haver perda de precisoPermite planejamento do espao ocupadoMinimiza a necessidade de pr-processamentoExemplo: Round-Robin Databases como as usadas no MRTG (http://oss.oetiker.ch/mrtg/)

Consolidao e VisualizaoO pacote sysstat oferece ferramentas para armazenar e exportar os dados coletados sar - http://bit.ly/sdBlosadf - http://bit.ly/30IjqTO Windows Performance Monitor tambm oferece a opo de armazenamento e exportao dos dados

Consolidao e VisualizaoFerramentas frequentemente usadas para visualizao:Ganglia (http://ganglia.info/)Cacti (http://www.cacti.net/)

Consolidao e Visualizao

Consolidao e Visualizao

ForecastingA previso de desempenho e capacidade de um sistema pode ser feita (inclusive):Trending: usamos uma massa de dados j coletados e se extrapolaO sistema tem de existirAlgum lembrou de coletar os dados...Modeling: Se cria um modelo do sistema para o qual se deseja fazer a anliseMaior complexidadeNo exige sistemas em produo

ForecastingTrending: O Microsoft Excel ou o R (http://www.r-project.org/) permite que se criem trends a partir de sries com facilidadeModeling: O pacote Pretty Damn Quick (PDQ) resolve diversos modelos de fila (http://bit.ly/xOf4b).

Impacto dos mtodos geisO futuro no mais como era antigamenteRenato Russo

Impacto dos mtodos geisOs ciclos de desenvolvimento de software tem sido cada vez mais curtos necessrio que os processos de anlise e modelagem acompanhem a evoluo nos processos de desenvolvimento de softwareUnnecessary detail means wasted time.Lacking the proper detail can be fatalJohn Allspaw The art of capacity planning

Virtualizao e Cloud ComputingVirtualizao se tornou onipresente em sistemas distribudos nos ltimos anosOs desafios para o planejamento de capacidade sero o de considerar cargas diferentes no mesmo host e otimizar o uso do host por essas cargas, alm de escolher quais cargas heterogeneas faro melhor uso do equipamento

Virtualizao e Cloud ComputingCloud ComputingTambm conhecido como: terceirizar a sua infra-estrutura para algum quem tem mquinas a vontade para voc usar quando precisar. (polmica intencional)Variveis novas para o planejamento de capacidade:LatnciaCapacidade real de processamentoConcorrnciaMesmo que seja barato ningum quer alugar 1000 mquinas na nuvem quando apenas 200 fariam o trabalho

Livros e RefernciasJohn Allspaw The art of capacity planninghttp://bit.ly/17cAg9Neil J. Gunther Analyzing Computer System Performance with Perl::PDQhttp://bit.ly/KVC2oMichael J. Crawley - The R Bookhttp://bit.ly/KVC2oDaniel Menasce Performance by Designhttp://bit.ly/fc7vH

Perguntas ?

Obrigado

*Data center do Google *Datacenter da DupontACC5 - DELIVERY Q3 2009Ashburn, VALocated at the Ashburn Corporate Campus in Ashburn Virginia, ACC5 is designed to be built in two phases for an aggregate of 36.4 MW of critical IT load capacity. Ground up development began in 2008 and is targeted for completion in September 2009. Prospective tenants can lease one or multiple combinations of dedicated rooms with 568.75 kW, 1,137.5 kW, or 2,275 kW of critical power. ACC5 will be a 360,000 square foot facility that offers more than 176,200 square feet of raised floor space.*O mercado de internet continua crescendo porm chegou em um ponto onde a demanda de recursos no acompanhada pela disponibilidade de dinheiro, logo existe a necessidade de se oferecer uma capacidade cada vez maior com investimentos menores.A necessidade da lead strategy se d pelo fato de que na internet, quando um servio est lento ele pode ser facilmente substitudo por outro, alm do que muitas vezes as demandas so imprevisveis.

*Thomas Watson in 1917 Watson joined theComputing Tabulating Recording Corporation (CTR)on May 1, 1914. When Watson took over as general manager, the company had fewer than 400 employees. In 1924, he renamed the companyInternational Business Machines. Watson built IBM into such a powerful force that the federal government filed a civil antitrust suit against them in 1952. IBM owned and leased more than 90 percent of all tabulating machines in the United States at the time.