arquitetura lambda na aws

Apresentao do PowerPoint

Arquiteturana AWSCarlos Eduardo F. BarretoData Engineer @ GuiaBolso

carlos.eduardo@guiabolso.com.br

O papel do engenheiro de dadosEnable others to answer questions on dataset within latency constraints Marz, N.

http://101.datascience.community/2014/07/08/data-scientist-vs-data-engineer/

Apenas para relembrar

http://lambda-architecture.net/

A pergunta inicial era...Como podemos mover os dados do MySQL para o Redshift da Amazon?

Outras foram surgindo no meio do caminho:O Redshift bom at que ponto?Seguir o modelo de dados do dev o melhor caminho?Por que o Sqoop?

A AWS como uma caixa de Lego

http://www.pcguia.pt/wp-content/uploads/2014/03/lego.jpg

A soluo atual

Minhas recomendaesUse EMR para no perder tempo com infra;Esteja atento ao github da AWS, muita coisa l vai te ajudar;Salve todo raw data e transformaes no S3 e no tenha medo de dados duplicados;Inicie com bash/cron e no tenha vergonha disto;No force tecnologias que voc AINDA no precisa;99% dos problemas so resolvidos em batch.

Evoluindo a soluo inicialCDC via binlog e envio de eventos para o Kinesis;Sumarizando mais dados e menos 'as is';Melhorando a coleta de logs de extrao;Usando novas estruturas para anlise de dados, ex.: Elasticsearch e DynamoDB;Usando novas formas de visualizar os dados e gerar insights, ex.: Tableau, Kibana e Quicksight.

Obrigado!Perguntas?