インメモリ/分散並列処理対応のビジネスインテリジェンス(bi)ソリューションでhadoopデータを活用する...

9
Copyright © 2012, SAS Institute Inc. All rights reserved. インメモリ・ビジュアルデータ探索&新世代BI製品 SAS ® Visual Analyticsのご紹介 SAS Institute Japan株式会社 インメモリ/分散並列処理対応のビジネスインテリジェンス(BI) ソリューションでHadoopデータを活用する

Upload: hadoop-conference-japan

Post on 04-Jul-2015

382 views

Category:

Technology


0 download

DESCRIPTION

■インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (Cloudera World Tokyo 2014 LT講演資料)

TRANSCRIPT

Page 1: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

インメモリ・ビジュアルデータ探索&新世代BI製品SAS® Visual Analyticsのご紹介

SAS Institute Japan株式会社

インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)

ソリューションでHadoopデータを活用する

Page 2: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

In-Memoryテクノロジーを活用し、大量データ・ビッグデータに対する分析をアドホックに、ビジュアルに、容易に、超高速で実行し、その結果をモバイル環境で共有できる、ハイパフォーマンス・ビジュアルデータ探索/ビジネス・インテリジェンス製品

全てのデータを一度に数秒で解析し、即座に結果を共有する

SAS® Visual Analytics とは

Page 3: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

モバイル BI

• レポート閲覧用のモバイル用アプリケーション

デザイナー

• Web/モバイル向けレポート/ダッシュボード作成

• アドホックなデータ探索/分析/発見

エクスプローラー管理

• データロード/アンロード• セキュリティ設定

データクエリ作成

• 複数テーブル間結合• 分析用データ準備

SAS® LASR™ ANALYTIC SERVERインメモリー分析エンジン

SAS® Visual Analytics : コンポーネントハブ• 共通の入り口

• 全ての機能にアクセス

• 役割に基づくビュー

Page 4: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

インメモリー分析エンジン

廉価なブレードサーバーで、コストパフォーマンス向上

ブレードサーバーを活用し、データ量増加に柔軟な拡張で対応

Server Tier / Mid TierBlade 1

Blade 5Blade 4Blade 3Blade 2

・・・

Memory Memory Memory Memory

データをHDFSに均等分散配置後、並列でメモリーへ高速ロード

各ノードで、大量データに対する分析処理を超高速並列実行

同時解析項目数など、制限の無いインメモリー分析エンジン

正確な意思決定、的を得たアクションの迅速化で成果を出す!

Data SourceERP CRM SCM SFA Web

・・・

Oracle(Exadata) DB2 SQL Server Teradata Netezza Flat_file

SAS®

LASR

ANALYTIC SERVER

HDFS HDFS HDFS HDFSHDFS HDFS HDFS HDFS

Distributed版分散イメージ図

Hadoop

Page 5: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

一般的なBI環境 と HadoopGENERAL BI

ARCHITECTURE

HDFS

HDFS

HDFS

HDFS

Hadoop Cluster

Name Node

Data Node 1

・・

DWH

BI Client

BI Server

BI Server

インメモリ型

メモリー

BI Client

Hadoopからのデータロードに

多くの時間を要する

Data Node 2

Data Node 3

Data Node n

Page 6: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Asymmetric 並列高速ローディングSAS

®LASR

ANALYTIC SERVER

HDFS

HDFS

HDFS

HDFS

Hadoop Cluster

・・

EP

EP

EP

EP

SAS LASR Analytic Server

SAS Visual Analytics

Client

メモリー

・・

Root Node

Worker Node 1

Name Node

Data Node 1

Data Node 2

Data Node 3

Data Node n

Worker Node 2

Worker Node 3

Worker Node n

EP : SAS Embedded Processing

メモリー

メモリー

メモリー

LASR メモリー内へのデータロード時間

を短縮

Asymmetric=

Hadoopノード数とLASRノード数は不一致でもOK

*1

*2

*2:Cloudera, Hortonworksに対応Teradata, Pivotal, Oracle, SAP HANA 各クラスタにも対応

*1:

Page 7: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Hadoop と LASRの共存構成SAS

®LASR

ANALYTIC SERVER

HDFS

HDFS

HDFS

HDFS

Hadoop Cluster

・・

Name Node

Data Node 1

Data Node 2

Data Node 3

Data Node n

メモリー

SAS LASR Analytic Server

Root Node

Worker Node 1

Worker Node 2

Worker Node 3

Worker Node n

SAS Visual Analytics

Client

LASR メモリー内へのデータロード時間

を最小化

メモリー

メモリー

メモリー

Asymmetric=

Hadoopノード数とLASRノード数は不一致でもOK

*1

Cloudera, Hortonworksに対応*1:

Page 8: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Hadoop内データの有効活用HADOOP + SAS VA

Hadoop導入済み 今後Hadoop導入検討中

Hadoopデータを簡単・

高速に集計・分析しビジュアライズしたい

Hadoopに対する直接検索(Hive等)で処理時間に不満がある。もっと高速化したい

HadoopデータをDWHに一旦格納した上でBIツールで活用する構成に課題や疑問をもっている。

Hadoop Cluster SAS LASR Analytic Server

Page 9: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d . www.SAS.com