![Page 1: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/1.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR | 07.11.2014
LOGSTASH: WINDOWS UND LINUX
LOGMANAGEMENT
THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS
GMBH
![Page 2: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/2.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein Account Manager Bei NETWAYS seit 2012
■ Thomas Widhalm Senior Consultant Bei NETWAYS seit 2013
![Page 3: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/3.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Was ist Logstash
■ Logstash Architektur
■ Live Demo
■ Fragen und Antworten
![Page 4: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/4.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
![Page 5: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/5.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source seit 1997
■ Aktuell 40 Mitarbeiter
■ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter
![Page 6: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/6.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagement
■ Konfigurationsmanagement
■ Reporting
■ Private Cloud
■ Backup
■ Projektmanagement
■ Consulting
■ Hosting
■ Managed Services
■ Development
■ Support
■ Betrieb
■ Schulungen
■ Konferenzen
■ Monitoring Hardware
![Page 7: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/7.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
![Page 8: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/8.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Open Source Monitoring
Conference
• 18. – 20. November 2014 (Nürnberg)
• 250 Teilnehmer (2013)
• Monitoring Best Practices
■ OpenNebula Conference
• 02. – 04. Dezember 2014 (Berlin)
• 100 Teilnehmer (2013)
• Cloud Virtualisierung
NETWAYS KONFERENZEN
![Page 9: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/9.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – MONITORING UND REPORTING
![Page 10: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/10.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT
![Page 11: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/11.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NETWAYS Plugins
www.icinga.org
■ Development
■ Hosting
exchange.icinga.org
■ Icinga / Nagios Addons und
Plugins
■ > 2000 Projekte
![Page 12: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/12.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
![Page 13: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/13.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
![Page 14: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/14.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Planung
■ Workshops & Consulting zur Implementierung vor Ort
■ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung
■ Entwicklungsleistungen Plugins und Filter Systemintegration
■ Schulungen Standardisierte Schulungsmodule Individuell vor Ort
■ Support Standardverträge Individuelle Supportkonzepte
■ Konferenzen
![Page 15: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/15.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
WAS IST LOGSTASH
![Page 16: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/16.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
Logdateien in großen Mengen behandeln
Analyse der Daten
Anbindung an Monitoringsysteme
Dashboards für Visualisierung und Analyse
Weiterleitung der Daten an Drittsyteme
![Page 17: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/17.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
![Page 18: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/18.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\
d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]
+)\" \"([^\"]+)\"
■ Pro Logformat eine eigene Regex
■ Aufwendig und zeitintensiv
■ Nur für technisch Versierte
■ Schlecht für die Teamarbeit
![Page 19: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/19.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
![Page 20: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/20.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Zentrales Speichern von Logs und Events
■ Sammeln von verschiedenen Quellen
■ Logs verändern / strukturieren
■ Transportieren der Logs
■ Einfache Installation
■ Integration in bestehende Infrastruktur
■ Lightweight
■ Open Source
![Page 21: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/21.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
![Page 22: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/22.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:Pipe on Steroids
Input
Filter
Output
![Page 23: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/23.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
■ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":
"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
■ Pattern "%{COMBINEDAPACHELOG}"
![Page 24: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/24.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
SwitchWebapplikatio
n
• Input• Output
• Key-Value Store
• Puffer
• Input• Filter• Output
• Index• Queries
![Page 25: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/25.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
REDIS
■ Key-Value Store
■ Einfache Installation
■ Eingebaute Replikation
■ Sehr schnell
■ Einträge werden nach Abholung gelöscht
![Page 26: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/26.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
ELASTICSEARCH
■ Effizientes Speichern von Daten
■ Automatische Indexes
■ RESTful API
■ Hochverfügbar
■ Clusterfähig (Nodes, Shards, Replika)
■ Realtime Analyse der Daten
■ Basiert auf Apache Lucene
■ Empfohlener Output
![Page 27: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/27.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
![Page 28: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/28.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog■ elasticsearch■ eventlog■ exec■ file■ ganglia■ gelf■ gemfire■ generator■ graphite■ heroku■ imap■ irc■ log4j■ lumberjack■ pipe■ rabbitmq
■ redis■ relp■ s3■ snmptrap■ sqlite■ sqs■ stdin■ stomp■ syslog■ tcp■ twitter■ udp■ unix■ varnishlog■ websocket■ wmi■ xmpp■ zenoss■ zeromq
■ advisor■ alter■ anonymize■ checksum■ cidr■ cipher■ clone■ collate■ csv■ date■ dns■ drop■ environment■ extractnumbers■ gelfify■ geoip■ grep■ grok■ grokdiscovery■ json■ json_encode■ kv
■ metaevent■ metrics■ multiline■ mutate■ noop■ prune■ railsparallel-
request■ range■ ruby■ sleep■ split■ syslog_pri■ translate■ urldecode■ useragent■ uuid■ xml■ zeromq
■ boundary■ circonus■ cloudwatch■ datadog■ datadog_metrics■ elasticsearch■ elasticsearch_htt
p■ elasticsearch_riv
er■ email■ exec■ file■ ganglia■ gelf■ gemfire■ google_cloud_st
orage■ graphite■ graphtastic■ hipchat■ http■ irc■ jira■ juggernaut■ librato■ loggly
■ lumberjack■ metriccatcher■ mongodb■ nagios■ nagios_nsca■ null■ opentsdb■ pagerduty■ pipe■ rabbitmq■ redis■ riak■ riemann■ s3■ sns■ sqs■ statsd■ stdout■ stomp■ syslog■ tcp■ udp■ websocket■ xmpp■ zabbix■ zeromq
Input (36) Filter (40) Output (50)
![Page 29: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/29.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch
■ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
![Page 30: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/30.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ Webserver Access- und Errorlogs
■ Logs der eigenen Applikation (Profiling)
■ Alerts via Icinga, E-Mail, XMPP, …
■ Statistiken (Graphite)
■ uvm.
![Page 31: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/31.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
![Page 32: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/32.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
![Page 33: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/33.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR KALENDER
■ Icinga Web 2: Modernes Web-Framework der nächsten
Generation 25. November 2014 - 10:30 Uhr
■ Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr
■ NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr
![Page 34: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocuments.mx/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/34.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
Vielen Dank für Ihre
Aufmerksamkeit!
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: [email protected]
Website: www.netways.de
Twitter: twitter.com/netways
Facebook:
facebook.com/netways
Blog: blog.netways.de