arquitetura lambda na aws
Post on 21-Apr-2017
54 views
Embed Size (px)
TRANSCRIPT
Apresentao do PowerPoint
Arquiteturana AWSCarlos Eduardo F. BarretoData Engineer @ GuiaBolso
carlos.eduardo@guiabolso.com.br
O papel do engenheiro de dadosEnable others to answer questions on dataset within latency constraints Marz, N.
http://101.datascience.community/2014/07/08/data-scientist-vs-data-engineer/
Apenas para relembrar
http://lambda-architecture.net/
A pergunta inicial era...Como podemos mover os dados do MySQL para o Redshift da Amazon?
Outras foram surgindo no meio do caminho:O Redshift bom at que ponto?Seguir o modelo de dados do dev o melhor caminho?Por que o Sqoop?
A AWS como uma caixa de Lego
http://www.pcguia.pt/wp-content/uploads/2014/03/lego.jpg
A soluo atual
Minhas recomendaesUse EMR para no perder tempo com infra;Esteja atento ao github da AWS, muita coisa l vai te ajudar;Salve todo raw data e transformaes no S3 e no tenha medo de dados duplicados;Inicie com bash/cron e no tenha vergonha disto;No force tecnologias que voc AINDA no precisa;99% dos problemas so resolvidos em batch.
Evoluindo a soluo inicialCDC via binlog e envio de eventos para o Kinesis;Sumarizando mais dados e menos 'as is';Melhorando a coleta de logs de extrao;Usando novas estruturas para anlise de dados, ex.: Elasticsearch e DynamoDB;Usando novas formas de visualizar os dados e gerar insights, ex.: Tableau, Kibana e Quicksight.
Obrigado!Perguntas?