Copyright © 2015 Macnica Networks Corp.

Splunk> for Application Management 2/24/2015

MACNICA Networks, Corp.

fsuzuki@macnica.co.jp

1

古き良き時代

数台の“コンピュータ”

数人の専任オペレーター

簡素な設計

単純なプログラム

2

民主化した“コンピューター“

複数の管理者

複数のOS

ネットワーキング

スイッチ・ルーター

管理ツールの必要性

3

管理ツールの増大

複雑なSOA

各ベンダーのツールを 起動、管理

各ツールの異なる 操作、教育、レポート

マルチベンダーによる サポートの複雑化

OSSによる内製化

4

属人化する内作ツール

協業できないツール

統一されていない指標

システム増大に 未対応

メンテナンス不可

非効率な運用

障害発見時間の増大

grep.....

5

よい方法は?

みんなGoogleを使ってる

6

ログも見ている！

A Better Way 肥大化するログ

7

便利なもの×苦労しているもの

+

２つを組み合わせたら？

8

最良の方法！

=

+

9

Splunk誕生の背景

製品コンセプト 大量のデータの中から、見たい情報だけを瞬時に探し出す

Spelunking = 洞窟探検 Splunk = ITデータの検索 “データセンターでもGoogleの ような強力なサーチエンジンが あれば・・・”

10

Healthcare

Technology

Energy and Utilities

Manufacturing

Telecommunications

Government

Retail

Financial Services and Insurance

Media

Travel and Leisure

100ヶ国、8,400社以上の実績

Cloud and Online Services Education

11

Splunkの特徴

12

Splunkの特徴

生データにインデックスを付与 No RDB

導入：事前のスキーマ設計、コネクタ不要

運用：ログフォーマット変更にも問題なく対応可

拡張：新規データもすぐに取り込み可能

13

柔軟なデータ収集

TCP/UDP

Syslog形式で送信可能な ネットワークデバイス等

ディレクトリ監視

Script

code

shell

perf

top,SNMP、APIなど Scriptの定期実行によるコマンド実行の結果をデータとして収集

REST API

エージェント経由

Universal Forwawder

テキストデータ

TCP/UDP ディレクトリ 監視

Script

code

shell

perf

エージェントなし

パケット

Net Flow

virtual

host

データ圧縮、 ロードバランサー 暗号化転送 低メモリ使用率

14

■GUI用サポートブラウザ Firefox ESR (24.2) and latest Internet Explorer 9, 10, and 11 Safari (latest) Chrome (latest）

動作プラットフォーム 推奨ハードウェアスペック

Windows / 非Windows共通 2x ６コア, 2+ GHz CPU, 12 GB RAM, RAID 0 or 1+0, with a 64 bit OS installed. 1200IOPS

・Splunkインストール（Forwarder含む）に最低5GBのハードディスクスペースが必要 ・Splunkは仮想マシン上でも動作いたします。仮想マシンで動作させる場合は、パフォーマンスの観点で推奨ハードウェアスペックに ＋30%したスペックを確保頂くことをお奨めします。サイジング詳細については、弊社（ splunk-sales@cs.macnica.net）までお問い合わせください。

■推奨ハードウェアスペック

■サポートOS Solaris, Linux, Windows, Mac OS, AIX等 対応OSはIndexサーバ、Forwarder毎に 異なります。詳細は下記URLにてご確認ください。 http://www.macnica.net/splunk/spec.html/

システム要件

15

ライセンス体系 • 2つのライセンス体系

– 永久ライセンス（年間保守は別途）

– 年間ライセンス（年間保守バンドル）

• ライセンスサイジング：Indexサーバに取り込む 1日当りのデータ量で決定

• 1GB/日

• 2GB/日

• 5GB/日

• 10GB/日 ・・・・・・・

※データ増加時は、アップグレード可能

• ライセンス以上のデータ取込みが発生したら・・・ • 過去30日間で4回までOK

• 5回目超過時でデータ取込み以外の機能がSTOP

• ライセンス追加 or カウント4回以下になることで復旧

インデックス ストレージ

コモディティ サーバ

開発 プラットフォーム

カスタム ダッシュボード

監視 アラート

アドホック サーチ

レポート 分析

圧縮前の総ログ容量

16

認定トレーナ資格を持つエンジニアがSplunkのアーキテクチャから使い方の詳細まで、 日本語で集中的にトレーニングするコース

1. What is Splunk 2. Using Splunk 3. Searching and Reporting with Splunk 4. Creating Splunk Knowledge Objects 5. Splunk Administration 6. Developing Apps with Splunk 7. Architecting & Deploying Splunk

トレーニング受講後、テストによりSplunk社認定資格を取得可能

http://www.macnica.net/splunk/training.html/

国内で唯一、Splunk社認定トレーニング開催資格を取得

Splunk社認定トレーニングの開催

17

活発なユーザーコミュニティ

●apps.splunk.com

約600種類のアドオン

●answers.splunk.com 35,000+ 問合せ 43,000+ 回答

●dev.splunk.com

開発者向け 情報サイト

3,000+ ユニーク ビジター／週

●SplunkLive! 世界各地でのユーザ会

●1月以降 ユーザ会 開催予定

●.conf 全世界 ユーザー

カンファレンス

9月末 Las Vegas,

NV

18

IT Ops.

Security & Complianc

e

Web Intelligence

App Dev &

App Mgmt.

Developer Platform (REST API, SDKs)

Business Analytics

Industrial Data and

Internet of Things

Small Data. Big Data. Huge Data.

Splunkの利用シーン

19

How it use

20

①対象全体の把握 ②特定キー（ユーザー、送信元IPアドレス、宛先URLなど）による個別調査

全体 個別 個別から詳細

Splunkによる調査

Splunkは、取り込んだデータに対して、キーワードを検索ボックスに追加するだけで、横断的なAdhocな検索が行え、大量なデータから特定したい情報を迅速に探し出し、問題を特定することができます。

③特定キー（ユーザー、送信元IPアドレス、宛先URLなど）による詳細調査

21

要対応 インシデント

関連ログ

（サーバ、アプリ等）

傾向から詳細 関連サーバ、アプリ

一覧 特定（時間帯、ID、URLなど）

特定したキーワードでフィルターした関連ログ

対象データ

特定 対処

Splunkによる調査 調査の流れ

調査結果により、アラートやレポートを作成時、次回同様のインシデント発生時の検知および調

査を迅速化。

関連ログ

（ミドルウェア、DB等）

特定したキーワードでフィルターした関連ログ

22

Splunkによる調査

23

アドホックな検索

項目抽出

対象データから気になる項目 （フィールド）を抽出。

自動統計処理・ドリルダウン

項目（フィールド）ごとの出現比率TOP10を自動統計処理。さらに気になる項目をクリックして、ドリルダウン可能。

タイムライングラフ

タイムライングラフで、何時、どのくらいのイベントが発生していたか傾向を把握。気になるポイントをさらにズームイン可能。

イーコマースサイト上のトランザクションの把握

ユーザーの操作履歴が出力されるようなログであれば、特定のキーをもとに、Webサーバーのログからはユーザーのアクセス数だけではなく、チケット販売等の状態まで確認することができます。

24

アクセス 購入完了 カート投入 支払ページ 「購入」した数はSplunkでなくともカウント可能

Splunkだったら「購入」に至らなかった経緯や統計情報を簡単に集計。 （データのグルーピング）

マーケティングなどの目的にもデータ活用が可能

システムを横断するトランザクションの把握 ログ収集対象機器が分散していて、横断的に検索が行え、特定のキーをもとに相関的な検索を実現し、個々の機器のログだけでは分からないような問題を発見し、システムのサービスレベルの向上に役立ちます。

25

10:00 共通キー１ XXXX XXXX XXXX XXXX

10:00 共通キー１ 共通キー２ XXXX XXXX XXXX XXXX

10:10 共通キー２ XXXX XXXX XXXX XXXX

特定ポイントで処理が滞留していることが判明。

全てのシステムに共通キーがなくても、相関するキーがあれば、例えばIPアドレスやユーザーIDをキーにして、システムがどこまで処理したか調査が可能

複数の共通キーによる 分析

Web サーバー

AP サーバー

DB サーバー

アプリケーションエラーの把握

JavaのExceptionのような、非定型のデータであっても1つのイベントとして取り込みます。

26

1行

1行

1行

1行

複数行

パフォーマンスからエラーの兆候監視 対象データに対して、画面のカスタマイズにより、Web→AP→DBへのトランザクション単位の各レスポンスを可視化可能。

指定した期間の平均値と現状値の比較表示が可能

27

Dynatrace.app

SpurcetypeをPurepathなど 調査目的イベントにわけて データ収集

inputs.confファイルで細かい定義

28

アラート

PS

purepath

visit

Dynatrace.app

左のフィールド一覧から指定フィールド （KPI)を指定して 発生数を確認

29

Dynatrace.app

30

31

ウェブサイトインフラの監視・分析

32

6年間で初めて、

macys.comはトラフィックが

50%増加したにもかかわらず

ショッピングがピークになる休日

にダウンタイムを経験しません

でした 。

“

”

テクノロジスタック全体に及ぶ徹底的な可視性をITチームに もたらしました。

二期連続で、取引が50%増加したときに100%のアップタイムを実現しました。

ロール固有のダッシュボードをIT全体で100以上のユーザに 供給しました。

Camille Balli Senior Analyst, Architecture Team

クラウドベースのアプリケーション分析

33

当社は、84,000人の顧客に対するアプリケーション性能 トラブルシューティングを 次の段階まで進めることができました。

Splunkが登場するまで、当社がデータの宝庫を持っているという事実に気付きませんでした。

Narayan Bharadwaj Director, Product Management

新しいサービスの提供: 顧客電子メールキャンペーンに関する 報告

Force.comでのソーシャルプラットホームサービス／アプリケーションの使用に関するビジネス分析を提供

より高いレベルのサービスを提供

“

“ “

“

幅広い利用が重要なROIに

導入後９ヶ月でSplunkの初期投資費用の少なくとも

25倍の費用を回収できました。

– 98%のインフラを監視

– 10,000台以上のサーバ、6.5TB/日

のデータ

– APモニタリング、インフラ監視、Web解析

– サーバの削除で数億円のコストカット

– 75% MTTR 削減、アップタイム改善

– 1400ユーザを運用作業から改善作業に注力 １００地域旅行サイト。10000台のサーバ１

Leading Online Travel Service

34

アプリケーションの状況

35

- リアルタイム状況レポート - 詳細なPDFレポートを関係者 ／エンジニアに毎日配布

- アプリケーション認識の向上

プロセスの可視化

- アプリケーションに実装された「ビーコン」コード

- キープロセスフローがログに出力したイベント

- トランザクションによって統合されたイベント

- 大量データを表示するレポート／ダッシュボード

36

顧客の活動 ・サーバステイタス ・404+505エラー ・チェックアウト を同時間で分析

Customer Journey

37

カスタマー 行動 （顧客の オンライン体験）

38

顧客追跡

39

顧客体験をリアルタイムに可視化

Splunkは過去見えていなかった データを供給してくれます。

サードパーティー ツールからの依存度低減

インハウス情報で、迅速な判断材料に利用

Botとスクレイパーの通信を可視化（競合排除）

全米No.1聴視率 スーパーボール開催時の広告測定

“ “

40

数万分の１のエラーを事前に把握 デジタルマーケティング・プラットフォームクラウド

数百社×数百アプリの中の特定のお客様のアプリ・DB遅延を高速検索

従来不可能であった調査が可能に＝顧客満足度向上

41

数万パターンのデバッグログからの顧客ログファイル特定時間が０

”0”

全体の調査時間は5分の1に短縮 1/5 会社全体の調査時間は5分の1

42

• エンタープライズ標準 • 多数のユーザ • 多種多様な使用事例 • 多種多様なユーザ • グローバル展開 • Splunk as a Service

• より多くのサイト • より多くの地域 • より多くのデータソース • より多くのデータ 最初のユーザ

• 特定の使用事例 • 特定のユーザ

エンタープライズ展開

作業グループ ダウンロード

拡張

データの民主化

すぐに始めましょう! http://www.macnica.net/splunk/

60日間評価ライセンス (500MB/日）

日本語版 クイックインストールガイド

5分でインストール！

43

さわってみましょう！ まずはSplunkの活用法を知りたい・さわってみたい場合、セミナーをお勧めします

ハンズオンセミナー Splunkの基本機能である、検索、アラート、レポート、 ダッシュボード作成について、 ハンズオン形式でレクチャー させて頂きます。

http://www.macnica.net/splunk/seminar.html/

44

Copyright © 2015 Macnica Networks Corp.

Make Machine Data Accessible, Usable and Valuable to IT and Business

お問合せ：マクニカネットワークス株式会社

Splunk製品担当

TEL：045-476-1980

E-mail: splunk-sales@cs.macnica.net

http://www.macnica.net/splunk/