Arquitetura Lambda na AWS

<p>Apresentao do PowerPoint</p> <p>Arquiteturana AWSCarlos Eduardo F. BarretoData Engineer @ GuiaBolso</p> <p>carlos.eduardo@guiabolso.com.br</p> <p>O papel do engenheiro de dadosEnable others to answer questions on dataset within latency constraints Marz, N.</p> <p>http://101.datascience.community/2014/07/08/data-scientist-vs-data-engineer/</p> <p>Apenas para relembrar</p> <p>http://lambda-architecture.net/</p> <p>A pergunta inicial era...Como podemos mover os dados do MySQL para o Redshift da Amazon?</p> <p>Outras foram surgindo no meio do caminho:O Redshift bom at que ponto?Seguir o modelo de dados do dev o melhor caminho?Por que o Sqoop?</p> <p>A AWS como uma caixa de Lego</p> <p>http://www.pcguia.pt/wp-content/uploads/2014/03/lego.jpg</p> <p>A soluo atual</p> <p>Minhas recomendaesUse EMR para no perder tempo com infra;Esteja atento ao github da AWS, muita coisa l vai te ajudar;Salve todo raw data e transformaes no S3 e no tenha medo de dados duplicados;Inicie com bash/cron e no tenha vergonha disto;No force tecnologias que voc AINDA no precisa;99% dos problemas so resolvidos em batch.</p> <p>Evoluindo a soluo inicialCDC via binlog e envio de eventos para o Kinesis;Sumarizando mais dados e menos 'as is';Melhorando a coleta de logs de extrao;Usando novas estruturas para anlise de dados, ex.: Elasticsearch e DynamoDB;Usando novas formas de visualizar os dados e gerar insights, ex.: Tableau, Kibana e Quicksight.</p> <p>Obrigado!Perguntas?</p>