logstash: windows und linux logmanagement (webinar vom 07. november 2014)

www.netways.de // blog.netways.de // @netways

We love Open Source

WEBINAR | 07.11.2014

LOGSTASH: WINDOWS UND LINUX

LOGMANAGEMENT

THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS

GMBH

www.netways.de // blog.netways.de // @netways

We love Open Source

VORSTELLUNG MITARBEITER

￭ Christian Stein Account Manager Bei NETWAYS seit 2012

￭ Thomas Widhalm Senior Consultant Bei NETWAYS seit 2013

www.netways.de // blog.netways.de // @netways

We love Open Source

AGENDA

￭ Vorstellung NETWAYS

￭ Was ist Logstash

￭ Logstash Architektur

￭ Live Demo

￭ Fragen und Antworten

www.netways.de // blog.netways.de // @netways

We love Open Source

VORSTELLUNG NETWAYS

www.netways.de // blog.netways.de // @netways

We love Open Source

VORSTELLUNG NETWAYS

￭ Firmengründung 1995

￭ Open Source seit 1997

￭ Aktuell 40 Mitarbeiter

￭ Spezialisierung in den Bereichen

Open Source Systems Management

und Open Source Datacenter

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS KOMPETENZEN

￭ Monitoring

￭ Graphing

￭ Logmanagement

￭ Konfigurationsmanagement

￭ Reporting

￭ Private Cloud

￭ Backup

￭ Projektmanagement

￭ Consulting

￭ Hosting

￭ Managed Services

￭ Development

￭ Support

￭ Betrieb

￭ Schulungen

￭ Konferenzen

￭ Monitoring Hardware

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS PRODUKTE

GRAPHITE

www.netways.de // blog.netways.de // @netways

We love Open Source

￭ Open Source Monitoring

Conference

• 18. – 20. November 2014 (Nürnberg)

• 250 Teilnehmer (2013)

• Monitoring Best Practices

￭ OpenNebula Conference

• 02. – 04. Dezember 2014 (Berlin)

• 100 Teilnehmer (2013)

• Cloud Virtualisierung

NETWAYS KONFERENZEN

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS SCHULUNGEN – MONITORING UND REPORTING

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS COMMUNITY

www.netways.org

￭ NETWAYS Addons

￭ NETWAYS Plugins

www.icinga.org

￭ Development

￭ Hosting

exchange.icinga.org

￭ Icinga / Nagios Addons und

Plugins

￭ > 2000 Projekte

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS KUNDEN – CONSULTING (AUSZUG)

www.netways.de // blog.netways.de // @netways

We love Open Source

NETWAYS KUNDEN – HOSTING (AUSZUG)

www.netways.de // blog.netways.de // @netways

We love Open Source

UNSERE LEISTUNGEN IM ÜBERBLICK

￭ Konzeptionierung und Planung

￭ Workshops & Consulting zur Implementierung vor Ort

￭ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung

￭ Entwicklungsleistungen Plugins und Filter Systemintegration

￭ Schulungen Standardisierte Schulungsmodule Individuell vor Ort

￭ Support Standardverträge Individuelle Supportkonzepte

￭ Konferenzen

www.netways.de // blog.netways.de // @netways

We love Open Source

OPEN SOURCE LOGMANAGEMENT

WAS IST LOGSTASH

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH

￭ Ziele

Logdateien in großen Mengen behandeln

Analyse der Daten

Anbindung an Monitoringsysteme

Dashboards für Visualisierung und Analyse

Weiterleitung der Daten an Drittsyteme

www.netways.de // blog.netways.de // @netways

We love Open Source

PROBLEMSTELLUNG

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

www.netways.de // blog.netways.de // @netways

We love Open Source

VORGEHEN OHNE LOGMANGEMENT

￭ Regex Magic

^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\

d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]

+)\" \"([^\"]+)\"

￭ Pro Logformat eine eigene Regex

￭ Aufwendig und zeitintensiv

￭ Nur für technisch Versierte

￭ Schlecht für die Teamarbeit

www.netways.de // blog.netways.de // @netways

We love Open Source

SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH FEATURES

￭ Zentrales Speichern von Logs und Events

￭ Sammeln von verschiedenen Quellen

￭ Logs verändern / strukturieren

￭ Transportieren der Logs

￭ Einfache Installation

￭ Integration in bestehende Infrastruktur

￭ Lightweight

￭ Open Source

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH ARCHITEKTUR

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH ARCHITEKTUR

Logstash:Pipe on Steroids

Input

Filter

Output

www.netways.de // blog.netways.de // @netways

We love Open Source

SORTIERUNG DER DATEN

￭ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json

HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"

￭ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":

"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101

Firefox/22.0"

￭ Pattern "%{COMBINEDAPACHELOG}"

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH ARCHITEKTUR

Server

SwitchWebapplikatio

n

• Input• Output

• Key-Value Store

• Puffer

• Input• Filter• Output

• Index• Queries

www.netways.de // blog.netways.de // @netways

We love Open Source

REDIS

￭ Key-Value Store

￭ Einfache Installation

￭ Eingebaute Replikation

￭ Sehr schnell

￭ Einträge werden nach Abholung gelöscht

www.netways.de // blog.netways.de // @netways

We love Open Source

ELASTICSEARCH

￭ Effizientes Speichern von Daten

￭ Automatische Indexes

￭ RESTful API

￭ Hochverfügbar

￭ Clusterfähig (Nodes, Shards, Replika)

￭ Realtime Analyse der Daten

￭ Basiert auf Apache Lucene

￭ Empfohlener Output

www.netways.de // blog.netways.de // @netways

We love Open Source

INTEGRATION IN DIE IT-LANDSCHAFT

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH PLUGINS UND FILTER

￭ drupal_dblog￭ elasticsearch￭ eventlog￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ generator￭ graphite￭ heroku￭ imap￭ irc￭ log4j￭ lumberjack￭ pipe￭ rabbitmq

￭ redis￭ relp￭ s3￭ snmptrap￭ sqlite￭ sqs￭ stdin￭ stomp￭ syslog￭ tcp￭ twitter￭ udp￭ unix￭ varnishlog￭ websocket￭ wmi￭ xmpp￭ zenoss￭ zeromq

￭ advisor￭ alter￭ anonymize￭ checksum￭ cidr￭ cipher￭ clone￭ collate￭ csv￭ date￭ dns￭ drop￭ environment￭ extractnumbers￭ gelfify￭ geoip￭ grep￭ grok￭ grokdiscovery￭ json￭ json_encode￭ kv

￭ metaevent￭ metrics￭ multiline￭ mutate￭ noop￭ prune￭ railsparallel-

request￭ range￭ ruby￭ sleep￭ split￭ syslog_pri￭ translate￭ urldecode￭ useragent￭ uuid￭ xml￭ zeromq

￭ boundary￭ circonus￭ cloudwatch￭ datadog￭ datadog_metrics￭ elasticsearch￭ elasticsearch_htt

p￭ elasticsearch_riv

er￭ email￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ google_cloud_st

orage￭ graphite￭ graphtastic￭ hipchat￭ http￭ irc￭ jira￭ juggernaut￭ librato￭ loggly

￭ lumberjack￭ metriccatcher￭ mongodb￭ nagios￭ nagios_nsca￭ null￭ opentsdb￭ pagerduty￭ pipe￭ rabbitmq￭ redis￭ riak￭ riemann￭ s3￭ sns￭ sqs￭ statsd￭ stdout￭ stomp￭ syslog￭ tcp￭ udp￭ websocket￭ xmpp￭ zabbix￭ zeromq

Input (36) Filter (40) Output (50)

www.netways.de // blog.netways.de // @netways

We love Open Source

LOGSTASH FEATURES

￭ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch

￭ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)

www.netways.de // blog.netways.de // @netways

We love Open Source

ANWENDUNGSMÖGLICHKEITEN

￭ Systemlogs (Problemanalyse)

￭ Webserver Access- und Errorlogs

￭ Logs der eigenen Applikation (Profiling)

￭ Alerts via Icinga, E-Mail, XMPP, …

￭ Statistiken (Graphite)

￭ uvm.

www.netways.de // blog.netways.de // @netways

We love Open Source

LIVE DEMO

www.netways.de // blog.netways.de // @netways

We love Open Source

FRAGEN UND ANTWORTEN

www.netways.de // blog.netways.de // @netways

We love Open Source

WEBINAR KALENDER

￭ Icinga Web 2: Modernes Web-Framework der nächsten

Generation 25. November 2014 - 10:30 Uhr

￭ Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr

￭ NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr

www.netways.de // blog.netways.de // @netways

We love Open Source

KONTAKTDATEN

Vielen Dank für Ihre

Aufmerksamkeit!

NETWAYS GmbH

Deutschherrnstrasse 15-19

90429 Nürnberg

Tel: +49 911 92885-0

Fax: +49 911 92885-77

E-Mail: info@netways.de

Website: www.netways.de

Twitter: twitter.com/netways

Facebook:

facebook.com/netways

Blog: blog.netways.de