lets go log!

Download Lets go log!

Post on 22-Jan-2018

278 views

Category:

Software

1 download

Embed Size (px)

TRANSCRIPT

  1. 1. Lets go Log ELK (ElasticSearch, LogStash e Kibana) Rafael Pacheco @ravpachecco ravpacheco.com
  2. 2. Sumrio Importncia e ciclo de vida dos logs; Problemas tpicos com mecanismos precrios de logs; Algumas evidncias que indicam problemas com logs; Como melhorar o processo de log atravs da stack ELK; Prottipo em desenvolvimento; Demos;
  3. 3. Como esto seus logs ?
  4. 4. Ciclo de vida Record Transmit Analyze Store Delete * James Turnbull (CTO Kickstarter) [http://goo.gl/GSl9Fm]
  5. 5. Problemas Alguns problemas gerados por mecanismos de log precrio: Tempo excessivo para diagnosticar e resolver problemas em produo; Aumento do custo operacional; Falta de evidncias para justificar indisponibilidades; Inexistncia de mtricas (ligadas ao ciclo de vida) para analisar desempenho e qualidade dos produtos;
  6. 6. Evidncias No existe padro no processo de armazenamento dos logs; Log Log LogLog Aplicao X
  7. 7. Evidncias Algumas aplicaes no possuem logs Log Aplicao X
  8. 8. Evidncias Incapacidade de extrair, facilmente, informaes e insights dos logs atravs dos meios de visualizao utilizados atualmente
  9. 9. ELK Elasticsearch + Logstash + Kibana
  10. 10. Logstash Ferramenta para construo de pipelines de aes open source pr-requisitos (JVM) flexvel e extensvel (plugins) age como um orquestrador do fluxo de logs componentes bsicos: input filter output #logstash.conf input { stdin { } } filter { } output { stdout { } }
  11. 11. Elasticsearch Ferramenta especializada em indexao e search em texto (documentos) open source pr-requisitos (JVM) possui uma engine de search RESTful projetado para cloud componentes bsicos: Indexao search #example PUT /megacorp/employee/1 { "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love rock climbing", "interests": [ "sports", "music" ] } GET /megacorp/employee/1 GET /megacorp/employee/_search
  12. 12. Elasticsearch Alguns usurios: *Github usa elasticsearch para pesquisar em 130 bilhes de linhas de cdigo
  13. 13. Kibana Ferramenta especializada em explorao e visualizao de dados em conjunto com elasticsearch open source interface bonitinha grficos anlises sofisticadas pode ser integrada tambm com Hadoop, Flume, fluentd
  14. 14. Prottipo em desenvolvimento Premissas: simplicidade e flexibilidade para adequar-se a nossa realidade atual; L Log Log Log Log NEST* LogStash E ElasticSearch K Kibana
  15. 15. Demo
  16. 16. Alternativas
  17. 17. Obrigado!!! rafaelpa@takenet.com.br @ravpachecco ravpacheco.com