4 passos até à gestão de capacidade
TRANSCRIPT
4 passos até àGestão de Capacidade
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 2/54
arquivo.pt
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 3/54
Estamos a perder a internet
● 50 dias - 50% dos documentos estão a ser alterados
(Cho and Garcia-Molina. 2000)
● 1 ano - 80% dos documentos ficam inacessíveis
(Ntoulas, Cho and Olson. 2004)
● 27 meses - 13% das referências na web desaparecem
(http://webcitation.org/. 2007)
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 4/54
Queremos evitar isto
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 5/54
1500 Milhões de documentos (45 TB)
mar 2010 out 2010 mai 2011 dez 20110
200
400
600
800
1000
1200
1400
1600
Milhões dedocumentos
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 6/54
Pesquisa por texto
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 7/54
Pesquisa por URL
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 8/54
Em 2010...
● Chefe: Quanto tempo demora até ficarmos sem espaço em disco?
● Eu: ???
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 9/54
Exemplo
● Páginas apresentadas ao usuário em menos 5 segundos!
● Espaço em disco necessário para manter o serviço?
● Número de consultas por segundo abaixo dos 500 ms!
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 10/54
Gestão de capacidade
● Saber que recursos devem ser adicionados, quando e porquê.
● Definição: Processo que define a quantidade de recursos necessários para garantir a continuidade do produto mediante alterações na procura.
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 11/54
Não é velocidade
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 12/54
Tens gasolina suficiente para chegar?
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 13/54
Chegar a uma boa gestão de capacidade
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 14/54
1. Medir a utilização dos recursos
● Precisamos de instrumentos de medição
● Qual o espaço em disco
utilizado por ano?13 TB por ano
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 15/54
Consumo atual de espaço em disco por ano
2007 2008 2009 2010 2011 2012 2013 2014 2015 20160
20
40
60
80
100
120
Diferênças na previsão de espaço entre 2010 e 2011
Espaço consumido em 2011
Anos
Espaçoem disco
TB
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 16/54
2. Descobrir os limites de capacidade● Relacionar a
utilização com os recursos disponíveis
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 17/54
Recursos (CPU, Memória, Disk I/O, ...)
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 18/54
Utilização
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 19/54
Limites calculados em produção
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 20/54
Tenho limite de utilização
2007 2008 2009 2010 2011 2012 2013 2014 2015 20160
20
40
60
80
100
120
Diferênças na previsão de espaço entre 2010 e 2011
Espaço consumido em 2011 Espaço existente TB
Anos
Espaçoem disco
TB
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 21/54
Previsão
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 22/54
Existirá espaço em disco até 2014!
2007 2008 2009 2010 2011 2012 2013 2014 2015 20160
20
40
60
80
100
120
Diferênças na previsão de espaço entre 2010 e 2011
Espaço consumido em 2011 Linear (Espaço consumido em 2011)Espaço existente TB
Anos
Espaçoem disco
TB
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 23/54
3. Adicionar recursos
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 24/54
Passar para produção
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 25/54
Instalar manualmente
● Tempo de instalação do sistema operacionais:45 minutos
● Tempo de instalação de 10 sistemas operacionais:
45 minutos * 10 máquinas = 7.5 horas● Custo:
30 reais / hora * 7.5 horas = 225 reais
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 26/54
Temos de automatizar
● Objectivo:
Reconstruir todo o serviço tendo apenas os computadores, o repositório de código e backups da aplicação.
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 27/54
Instalação automática de servidores
● Poupa dinheiro
● Minimizar o tempo até produção
● Mantém consistência no sistema
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 28/54
Sistema operacional instalado
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 29/54
Como configurar
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 30/54
No começo
# vim /etc/httpd/conf/httpd.conf
– Ligar cache– Alterar email
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 31/54
Passados 2 meses
# vim /etc/httpd/conf/httpd.conf
– Alterar email
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 32/54
Configuração Manual
● Prós– Funciona em 2/3 servidores– Fácil e rápido
● Contras– Configurações não replicáveis– Não é possível auditar– Não existe histórico das alterações– Não existe documentação– Não é possível reproduzir em 100 servidores rapidamente– Não podemos reconstruir servidores em caso de falha
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 33/54
Criação de imagens
● Prós– Reduz tempo até produção de novos servidores– Rápido a criar grande número de servidores
● Contras– Sem validação do estado– Alterações de configurações leva à reconstrução de máquinas– Não é auditável– Sem informação de história– Sem documentação
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 34/54
Gestão de configuração
● “Receitas” para configurar servidoresclass ntp {
package { "ntp":
ensure => installed
}
service { "ntp":
ensure => running
}
}
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 35/54
Repositório de código e controlo de versões● Tudo passa a ser código fonte
● Tudo será alterado em apenas um local
● Todos poderão ver qual é o código do sistema (configuração e código fonte do produto)
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 36/54
Benefícios de gestão de configurações● Reprodutibilidade
● Precisão
● Homogeneidade
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 37/54
Configurar os tipos de máquinas
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 38/54
Instalar o produto
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 39/54
“1 clique” | Quem? Quando? O quê?
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 40/54
Sistema instalado, recursos em utilização
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 41/54
Processo demora 6 meses
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 42/54
4. Repetir o processo
● Já adicionamos novos recursos.
● Repetir o processo, com estes novos recursos quando ficaremos novamente sem espaço em disco?
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 43/54
4. Repetir o processo
2007 2008 2009 2010 2011 2012 2013 2014 2015 20160
20
40
60
80
100
120
Diferênças na previsão de espaço entre 2010 e 2011
Espaço consumido em 2010 Linear (Espaço consumido em 2010)Espaço consumido em 2011 Linear (Espaço consumido em 2011)Espaço existente TB
Anos
Espaçoem disco
TB
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 44/54
Gestão de capacidade
● Medir utilização de recursos– Ter um sistema de medição dos recursos completo
● Descobrir limites– Ligar métricas com recursos
● Adicionar Recursos– Utilizar automatismos
● Repetir o processo– Recalcular para verificar os resultados
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 45/54
Tráfego espontâneo
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 46/54
Notícia num site importante
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 47/54
Desabilitar funções pesadas
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 48/54
Desabilitar funções pesadas
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 49/54
Desabilitar funções pesadas
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 50/54
Lidar com tráfego espontâneo
● Servir conteúdo estático– Processar site para transformar em estático
● Servir conteúdo de caches– Utilizar caches de páginas completas, exemplo:
reverse-proxy– Utilizar content delivery networks CDN
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 51/54
Manter canais de comunicação
● Ter canais de comunicação alojados fora da empresa
● Avisar utilizadores de quaisquer problemas, explicar o que se está a passar
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 52/54
Conclusão
● Já lidamos com o crescimento tradicional do nosso site – mediante gestão de capacidade.
● Já conseguimos minimizar um crescimento espontâneo – noticia em site muito visitado.
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 53/54
Obrigado pela atenção
Tirem as vossas dúvidas.
Simão [email protected]://sites.google.com/site/simaofontes/
27 - 11 - 2012ConItech - Congresso Brasileiro de Tecnologia da Informação.
Simão Fontes | arquivo.pt 54/54
Fotos
● flickr.com/photos/alohaowl/5145037507/● flickr.com/photos/peteredin/3174493833/● flickr.com/photos/bambooly/298632541● flickr.com/photos/ooohoooh/276100445/● flickr.com/photos/hpatton/6238331202/● flickr.com/photos/ac4lt/4927460547/● flickr.com/photos/redjar/360113468/● flickr.com/photos/jamescridland/613445810/