meetup :: update elastic stack 5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Elastic meetup #2

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Elastic Stack 5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Data visualization

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Search,Analyze Store,Index

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Data Ingestion

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Plug-ins

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Shield Marvel Watcher Graph Reporting

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

https://www.elastic.co/support/matrix

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

5.0

https://www.elastic.co/guide/en/elasticsearch/reference/5.0/release-notes-5.0.0.html

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

$./bin/elasticsearch-plugin install x-pack

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

elasticchangeme

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

DELETE *

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Indexing performance

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

30%-80%

https://benchmarks.elastic.co

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

30%-80%

https://benchmarks.elastic.co

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Smaller size

https://benchmarks.elastic.co

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Ingest node

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Node Types ?

Master Query Data

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Before 5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Ingest node

เป็นค่า default ของทุก node

node.ingest=false

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Painless scripting

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Before 5.0

Groovy scriptDisable by default !!

https://www.elastic.co/community/security

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

5.0Painless script

Enable by default

https://www.elastic.co/blog/painless-a-new-scripting-language

4x as fast as GroovySafe and secure

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Dot-in-fieldname !!

foo.bar

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Strings are dead !!

https://www.elastic.co/blog/strings-are-dead-long-live-strings

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Default mapping

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Aggregation !!

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Root cause !!

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Update mapping

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Aggregation

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Wait for refresh

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-refresh.html

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

How to use ?

PUT /db/table/1?refresh=true

https://www.elastic.co/guide/en/logstash/5.0/monitoring.html

PUT /db/table/1?refresh=falsePUT /db/table/1?refresh=wait_for

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Rollover Index API

https://www.elastic.co/blog/managing-time-based-indices-efficiently

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Use aliases

Alias

Index_001

Index_002

Index_003

Index_004

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Create index

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Create alias with RollOver

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Create new index

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Breaking changes !!

https://www.elastic.co/guide/en/elasticsearch/reference/5.0/breaking-changes-5.0.html

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

search_type=count !!

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

search_type=count !!

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Use size=0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Remove query !!

Remove Use

filtered filter

and must in bool

or should in bool

missing exists

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Default similarity is BM25Best Matching

https://en.wikipedia.org/wiki/Okapi_BM25

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

https://www.youtube.com/watch?v=v3Ko0CwgTZ0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Client library

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

$./bin/kibana-plugin install x-pack

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Kibana

Plugins all the thingsExport all the things

Status pageUser management

Improve performance 20%

UI/UX

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

https://www.elastic.co/guide/en/logstash/5.0/introduction.html

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Pipeline

2.1

2.2

5.0

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Monitoring APIs

Node info

https://www.elastic.co/guide/en/logstash/5.0/monitoring.html

Node statsPlugins infoHot threads

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

Official Docker Images

Elasticsearch dockerKibana docker

Logstash docker

https://github.com/elastic/

บริษัท สยามํานาญกิจ จํากัด และเพ่ือนพ้องน้องพ่ี

somkiat.cc