logstash: windows und linux logmanagement (webinar vom 07. november 2014)

www.netways.de // blog.netways.de // @netways

We love Open Source

WEBINAR | 07.11.2014

LOGSTASH: WINDOWS UND LINUX

LOGMANAGEMENT

THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS

GMBH


We love Open Source

VORSTELLUNG MITARBEITER

￭ Christian Stein Account Manager Bei NETWAYS seit 2012

￭ Thomas Widhalm Senior Consultant Bei NETWAYS seit 2013


We love Open Source

AGENDA

￭ Vorstellung NETWAYS

￭ Was ist Logstash

￭ Logstash Architektur

￭ Live Demo

￭ Fragen und Antworten


We love Open Source

VORSTELLUNG NETWAYS


We love Open Source

VORSTELLUNG NETWAYS

￭ Firmengründung 1995

￭ Open Source seit 1997

￭ Aktuell 40 Mitarbeiter

￭ Spezialisierung in den Bereichen

Open Source Systems Management

und Open Source Datacenter


We love Open Source

NETWAYS KOMPETENZEN

￭ Monitoring

￭ Graphing

￭ Logmanagement

￭ Konfigurationsmanagement

￭ Reporting

￭ Private Cloud

￭ Backup

￭ Projektmanagement

￭ Consulting

￭ Hosting

￭ Managed Services

￭ Development

￭ Support

￭ Betrieb

￭ Schulungen

￭ Konferenzen

￭ Monitoring Hardware


We love Open Source

NETWAYS PRODUKTE

GRAPHITE


We love Open Source

￭ Open Source Monitoring

Conference

• 18. – 20. November 2014 (Nürnberg)

• 250 Teilnehmer (2013)

• Monitoring Best Practices

￭ OpenNebula Conference

• 02. – 04. Dezember 2014 (Berlin)

• 100 Teilnehmer (2013)

• Cloud Virtualisierung

NETWAYS KONFERENZEN


We love Open Source

NETWAYS SCHULUNGEN – MONITORING UND REPORTING


We love Open Source

NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT


We love Open Source

NETWAYS COMMUNITY

www.netways.org

￭ NETWAYS Addons

￭ NETWAYS Plugins

www.icinga.org

￭ Development

￭ Hosting

exchange.icinga.org

￭ Icinga / Nagios Addons und

Plugins

￭ > 2000 Projekte

http://www.netways.org/

http://www.icinga.org/

http://exchange.icinga.org/


We love Open Source

NETWAYS KUNDEN – CONSULTING (AUSZUG)


We love Open Source

NETWAYS KUNDEN – HOSTING (AUSZUG)


We love Open Source

UNSERE LEISTUNGEN IM ÜBERBLICK

￭ Konzeptionierung und Planung

￭ Workshops & Consulting zur Implementierung vor Ort

￭ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung

￭ Entwicklungsleistungen Plugins und Filter Systemintegration

￭ Schulungen Standardisierte Schulungsmodule Individuell vor Ort

￭ Support Standardverträge Individuelle Supportkonzepte

￭ Konferenzen


We love Open Source

OPEN SOURCE LOGMANAGEMENT

WAS IST LOGSTASH


We love Open Source

LOGSTASH

￭ Ziele

Logdateien in großen Mengen behandeln

Analyse der Daten

Anbindung an Monitoringsysteme

Dashboards für Visualisierung und Analyse

Weiterleitung der Daten an Drittsyteme


We love Open Source

PROBLEMSTELLUNG

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"



￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245






￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245



We love Open Source

VORGEHEN OHNE LOGMANGEMENT

￭ Regex Magic

^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\

d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]

+)\" \"([^\"]+)\"

￭ Pro Logformat eine eigene Regex

￭ Aufwendig und zeitintensiv

￭ Nur für technisch Versierte

￭ Schlecht für die Teamarbeit


We love Open Source

SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH


We love Open Source

LOGSTASH FEATURES

￭ Zentrales Speichern von Logs und Events

￭ Sammeln von verschiedenen Quellen

￭ Logs verändern / strukturieren

￭ Transportieren der Logs

￭ Einfache Installation

￭ Integration in bestehende Infrastruktur

￭ Lightweight

￭ Open Source


We love Open Source

LOGSTASH ARCHITEKTUR


We love Open Source


Logstash:Pipe on Steroids

Input

Filter

Output


We love Open Source

SORTIERUNG DER DATEN

￭ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json

HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"

￭ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":

"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101

Firefox/22.0"

￭ Pattern "%{COMBINEDAPACHELOG}"


We love Open Source


Server

SwitchWebapplikatio

n

• Input• Output

• Key-Value Store

• Puffer

• Input• Filter• Output

• Index• Queries


We love Open Source

REDIS

￭ Key-Value Store

￭ Einfache Installation

￭ Eingebaute Replikation

￭ Sehr schnell

￭ Einträge werden nach Abholung gelöscht


We love Open Source

ELASTICSEARCH

￭ Effizientes Speichern von Daten

￭ Automatische Indexes

￭ RESTful API

￭ Hochverfügbar

￭ Clusterfähig (Nodes, Shards, Replika)

￭ Realtime Analyse der Daten

￭ Basiert auf Apache Lucene

￭ Empfohlener Output


We love Open Source

INTEGRATION IN DIE IT-LANDSCHAFT


We love Open Source

LOGSTASH PLUGINS UND FILTER

￭ drupal_dblog￭ elasticsearch￭ eventlog￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ generator￭ graphite￭ heroku￭ imap￭ irc￭ log4j￭ lumberjack￭ pipe￭ rabbitmq

￭ redis￭ relp￭ s3￭ snmptrap￭ sqlite￭ sqs￭ stdin￭ stomp￭ syslog￭ tcp￭ twitter￭ udp￭ unix￭ varnishlog￭ websocket￭ wmi￭ xmpp￭ zenoss￭ zeromq

￭ advisor￭ alter￭ anonymize￭ checksum￭ cidr￭ cipher￭ clone￭ collate￭ csv￭ date￭ dns￭ drop￭ environment￭ extractnumbers￭ gelfify￭ geoip￭ grep￭ grok￭ grokdiscovery￭ json￭ json_encode￭ kv

￭ metaevent￭ metrics￭ multiline￭ mutate￭ noop￭ prune￭ railsparallel-

request￭ range￭ ruby￭ sleep￭ split￭ syslog_pri￭ translate￭ urldecode￭ useragent￭ uuid￭ xml￭ zeromq

￭ boundary￭ circonus￭ cloudwatch￭ datadog￭ datadog_metrics￭ elasticsearch￭ elasticsearch_htt

p￭ elasticsearch_riv

er￭ email￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ google_cloud_st

orage￭ graphite￭ graphtastic￭ hipchat￭ http￭ irc￭ jira￭ juggernaut￭ librato￭ loggly

￭ lumberjack￭ metriccatcher￭ mongodb￭ nagios￭ nagios_nsca￭ null￭ opentsdb￭ pagerduty￭ pipe￭ rabbitmq￭ redis￭ riak￭ riemann￭ s3￭ sns￭ sqs￭ statsd￭ stdout￭ stomp￭ syslog￭ tcp￭ udp￭ websocket￭ xmpp￭ zabbix￭ zeromq

Input (36) Filter (40) Output (50)


We love Open Source

LOGSTASH FEATURES

￭ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch

￭ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)


We love Open Source

ANWENDUNGSMÖGLICHKEITEN

￭ Systemlogs (Problemanalyse)

￭ Webserver Access- und Errorlogs

￭ Logs der eigenen Applikation (Profiling)

￭ Alerts via Icinga, E-Mail, XMPP, …

￭ Statistiken (Graphite)

￭ uvm.


We love Open Source

LIVE DEMO


We love Open Source

FRAGEN UND ANTWORTEN


We love Open Source

WEBINAR KALENDER

￭ Icinga Web 2: Modernes Web-Framework der nächsten

Generation 25. November 2014 - 10:30 Uhr

￭ Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr

￭ NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr


We love Open Source

KONTAKTDATEN

Vielen Dank für Ihre

Aufmerksamkeit!

NETWAYS GmbH

Deutschherrnstrasse 15-19

90429 Nürnberg

Tel: +49 911 92885-0

Fax: +49 911 92885-77

E-Mail: [email protected]

Website: www.netways.de

Twitter: twitter.com/netways

Facebook:

facebook.com/netways

Blog: blog.netways.de

logstash: windows und linux logmanagement (webinar vom 07. november 2014)

Technology

x11 linux x86

gecko20100101 firefox25

open sourceproblemstellung91

logstash 04dec2013

open source seit

open sourcenetways konferenzen

open sourcewas ist logstash

open sourcethomas widhalm