logganalys med elastic & findwise

© Findwise 2015-05-29

Hur förvandlar The Guardian loggfiler till pengar?- Seminarie om logganalys med ELK

28 maj 2015

• Big data på riktigt – ingen hype, bara nytta. Vi reder ut begreppen och förklarar hur logganalys fungerar. Christian Ubbesen, Findwise

• Exempel från verkligheten #1: Hur förvandlar The Guardian loggfiler till pengar? Edward Wasilchin, Elastic Co.

• Exempel från verkligheten #2: Hur ett logistikföretag löser problemet med försvunna försändelser. Olof Nilsson, Findwise

• Fem steg för framgång med erfarenheter direkt från skyttegraven – så här lyckades vi med ett framgångsrikt projekt.

• Q&A

Agenda

Visualiserad loggdata ger ökad affärsnytta

Vad vill du veta? – Nästan allt som händer finns i loggfiler

Big Data

Exempel på tillämpningar:

Analysera…

Användarbeteenden i webbtjänster, ge bättre rekommendationer

Sensordata i en fabrik eller konsumentprodukter

System och applikationer i en IT-driftsmiljö

Väldig bredd på tillämpningar!

Loggfiler – volym, varians, hastighet

Inte bara loggfiler…

Big Data med Logganalys

SökmotorAggregerar dataSkapar statistik

Enkel välpaketerad teknik – behöver inte systemutveckling

Snabb återkoppling på idéer – det går fort att ladda in en fil och skapa grafer och dashboards

Behöver inte IT-hjälp mer än att få access till loggfilerna. Låg grad av ”invasivitet”.

Varför big data med logganalys?

ÖKA AFFÄRSNYTTANAV LOGGDATA

Användningsområden

Visualiserad loggdata i verksamheten för att

förstå kunden och nå verkliga effekter i

affären.

Systemövervakning, felsökning och

bedrägeriutredningar.

Felsöka och undersöka

Proaktiv monitorering och

alarm

Insikter i verksamheten

Affärsinsikter i realtid

Proaktiv

Reaktiv

Intressenter för visualiserad loggdata

Säljledare & säljare

Marknad & internetavdelning

Kundcenter, Backoffice & Internetsupport

Affärsledning &Affärsansvariga

Riskkontroll

Leveransteam IT

Proaktiv och informerad förvaltning

Aktiv säljledning Öka försäljning

Nöjdare kunder

Öka effektivitet och säkerhet

Följa försäljning i närtid

Följa kundernas beteende

Visualisera aktivitet och försäljning per kanal och produkt

Informerat kundmöteVisa kundens senaste aktivitet samt förutsättningar

Säkerhetsstöd Snabbare analyser

Följa hur de tekniska systemen presterar

Att visualisera Förändring i organisationen Önskad effektIntressentgrupp

Loggdata innehåller affärskritisk information


Kund ID Order ID Produkt ID

Order ID Kund ID

Väntetid

Kund ID

Twitter ID Kundens Twitter

Företagets Twitterkonto

CASE: THE GUARDIAN – GAINING INSIGHTTHROUGH A WEALTH OF DATA

The Guardian – Gaining insight through a wealth of data

Unlocking the value of data through search and analytics

www.elastic.co

Edward WasilchinDirector, Nordics

[email protected]

http://www.elastic.co

www.elastic.co Copyright Elastic 2015 Copying, publishing and/or

distributing without written permission is strictly prohibited

18

The story is being told

• Starting out in 1821 as a UK-based newspaper, today The Guardian is a global provider of news content.

• The company site, theguardian.com, is one of the world's most popular websites with 5 million unique visitors per day – the third largest English-speaking newspaper website in the world.



19

The challenge

• Transition the business model from print to online

• From journalist driven to reader driven content

• From static to dynamic • From deadlines to speed of

decision and execution



20

Defining the solution



21

Architecting the solution – Enter Ophan

• Ophan, the Guardian's in-house developed analytics system, enables users across the company – including editors, journalists, the search optimization team, and developers – to see in real-time exactly how users are interacting with the content.

• Powered by Elasticsearch and processing 40 million documents per day and delivering real-time results, Ophan has grown to be an enterprise-wide analytics tool used throughout the organization, with over 500 active users.



22

The benefits

Enhanced user experienceThe Guardian utilizes Elasticsearch-powered analytics

to provide readers with more content that meets their demands, which enhances the user experience on the

company's website.

Improved site performanceThe Guardian's IT operations team utilizes Elasticsearch

to track how any changes impact site performance, diagnose issues and keep the site up and running at

peak performance.

Driving more page viewsElasticsearch helps The Guardian improve content, headlines and promotion in a variety of ways, ultimately increasing the number of page views and the site's success.

Empowering the teamOffering access to Elasticsearch across the organization has empowered editors and journalists to get more involved, and take a proactive approach to improving the site and its content.



The Problem

Insights are not keeping pace with data

Data

Social

Location

Web/Logs

Machine

Documents

Today’s Requirements

Scale SpeedReal Time SchemalessFlexibility

Developers IT/Ops Business Users

23



24

Global Customer Base



25

Our Story

Mar’15Oct’12 Apr’13 Sept’14Oct’13

20.

Mill

ions o

f D

ow

nlo

ads

2.5

5.0

10.

20+Million

product downloads

Cumulative as of March 2015 across Elastic products

Customers

2,000+ Startups to global enterprises

Team

$104M funding

Open Source & Enterprise

Thank you!

www.elastic.co

@elastic

http://www.elastic.co

CASE: HUR ETT LOGISTIKFÖRETAG LÖSER PROBLEMET MED FÖRSVUNNA FÖRSÄNDELSER.

Utmaningen

Hur vet jag hur mina system mår?

Många system ➜ många gränssnitt för monitorering

Databas

Admin-verktyg

Ärende-hantering

Webb-gränssnitt

Brand-vägg

Terminal

Produkt

Ingen monitorering

Webb-server

Webb-gränssnitt

Wed Oct 1 17:55:33.368 <airportd[92]> _handleLinkEvent: Got an error trying to query WiFi for power. Resetting state variables.

localhost - - [29/Apr/2014:14:34:51 +0200] "POST / HTTP/1.1" 200 353 Set-Job-Attributes successful-ok

Oct 1 07:10:39 - WindowServer[103] <Warning>: device_generate_desktop_screenshot: authw 0x7fb9705eb7d0(2000), shield

0x7fb975116f80(2001)

[Thu Mar 20 17:43:10 CET 2014]installer saved state: /Users/theuser/Library/Saved Application

State/com.apple.installer.savedState/windows.plist

[3454682.044] noPseudoramiXExtension=0, pseudoramiXNumScreens=1

Förbättrad IT med logganalys

• IT-avdelning i logistikbranschen• Outsourcad utveckling och drift• Kvalitetsproblem och driftstörningarHur får jag en bild av hur systemen används?

Adress- och mottagar-

register

Paket-spårning

Sorterings-system

Logganalys-verktyg

Postal Code

Service

EDI Processor

EDI Receiver

Sorting

Company Registry

EDI Received

RegisteredPiece

receivedPiece sorted

Piece loaded

Följa status genom flera system

• Status på ett paket tas ut från flera loggkällor

• Koppling till fysiskt paket

Physical package

Vinster

• Översikt av hur olika system behandlar paketinformation

• Upptäckte brister i produktionssystemens loggning

• Förenklad felsökning och möjlighet att följa hur ett enskilt paket behandlas

SÅ LYCKAS MAN MED ETT BIG DATA-PROJEKT

Findability by Findwise™

Business (needs & goals)

Information (quality & structure)

Users (needs & capabilities)

Organisation (change & governance)

Technology (platform & functionality)

Så genomförs ett projekt

Analys av information

•Utförs med informationsexpert hos kunden

Ta fram rapport / analysstöd

•Grafer

•Dashboard

Demo

•Få feedback

•Korrigera

Identifiera use-case & information

•Vilka affärsprocesser ska stöttas

Etablera övergripande

affärskrav – målbild

Kontinuerlig leverans av rapporter /

analysstöd för olika processer och affärsbehov

ITHårdvara/infrastruktur

Installera verktygLicens

Etablera organisation• Ägarskap

• Rutiner feedback/förändring• Underhåll teknik + rapporter/analyser

Roll 1: Affärssponsor Roll 2: InformationsexpertFörstår data-/loggfilerna och sammanhanget det kan användas i

Roll 3: AffärsrepresentantGärna referensgrupp

Exempelprojekt

1. Workshop med affärssponsor, affärsintressenter och informationsexpert (som vet vilken data som finns att tillgå) – identifiera ett antal rapportbehov, välj ut den viktigaste.

2. Genomför Proof-of-Concept på det viktigaste rapportbehovet. Verifiera att data-/loggfilerna finns tillgänglig och håller tillräckligt hög kvalitet, samt verifiera att rapporten kan användas av affärsverksamheten för att fatta värdefulla beslut. Tar ca 3 veckor.

3. Med PoC-resultatet verifierat så kan leveransprojekt etableras. Workshoppa fram prioriterad backlog av rapportbehov, och rulla ut kontinuerligt i tät dialog med affärssponsorer och slutanvändare. Ambitionen avgör omfattning.

4. Etablera organisation för tekniskt underhåll och affärsmässig förvaltning.

5. Överlämna ansvar till organisationen. Sammanställ och presentera rapport på slutleverans.

Workshop

Proof-of-Concept

Leveransprojekt

Etablera organisation

Slutleverans

Viktiga framgångsfaktorer

En tydlig sponsor: affärssponsor eller IT-

sponsor beroende på fokus.

En informationsexpert som förstår vilka

data/loggfiler som finns och hur de ser ut.

Representanter av slutanvändare.

Jobba i korta agila iterationer, testa sig fram.

Varför visualiserad loggdata?

Låg ”invasivitet” – kräver mycket liten insats från IT-/utvecklarorganisationen.

Snabbt att få fram demos – stödjer en agil filosofi där affärsverksamheten är aktiva deltagare – ”Rapid Business Intelligence”.

Kostnadseffektivt – stor affärsnytta – minimalt med strul.

Första steget – diskutera…

Vad vet ni att ni inte vet idag?

[email protected]