インメモリ/分散並列処理対応のビジネスインテリジェンス(bi)ソリューションでhadoopデータを活用する...
DESCRIPTION
■インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (Cloudera World Tokyo 2014 LT講演資料)TRANSCRIPT
![Page 1: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/1.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
インメモリ・ビジュアルデータ探索&新世代BI製品SAS® Visual Analyticsのご紹介
SAS Institute Japan株式会社
インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)
ソリューションでHadoopデータを活用する
![Page 2: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/2.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
In-Memoryテクノロジーを活用し、大量データ・ビッグデータに対する分析をアドホックに、ビジュアルに、容易に、超高速で実行し、その結果をモバイル環境で共有できる、ハイパフォーマンス・ビジュアルデータ探索/ビジネス・インテリジェンス製品
全てのデータを一度に数秒で解析し、即座に結果を共有する
SAS® Visual Analytics とは
![Page 3: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/3.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
モバイル BI
• レポート閲覧用のモバイル用アプリケーション
デザイナー
• Web/モバイル向けレポート/ダッシュボード作成
• アドホックなデータ探索/分析/発見
エクスプローラー管理
• データロード/アンロード• セキュリティ設定
データクエリ作成
• 複数テーブル間結合• 分析用データ準備
SAS® LASR™ ANALYTIC SERVERインメモリー分析エンジン
SAS® Visual Analytics : コンポーネントハブ• 共通の入り口
• 全ての機能にアクセス
• 役割に基づくビュー
![Page 4: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/4.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
インメモリー分析エンジン
廉価なブレードサーバーで、コストパフォーマンス向上
ブレードサーバーを活用し、データ量増加に柔軟な拡張で対応
Server Tier / Mid TierBlade 1
Blade 5Blade 4Blade 3Blade 2
・・・
Memory Memory Memory Memory
データをHDFSに均等分散配置後、並列でメモリーへ高速ロード
各ノードで、大量データに対する分析処理を超高速並列実行
同時解析項目数など、制限の無いインメモリー分析エンジン
正確な意思決定、的を得たアクションの迅速化で成果を出す!
Data SourceERP CRM SCM SFA Web
・・・
Oracle(Exadata) DB2 SQL Server Teradata Netezza Flat_file
SAS®
LASR
ANALYTIC SERVER
HDFS HDFS HDFS HDFSHDFS HDFS HDFS HDFS
Distributed版分散イメージ図
Hadoop
![Page 5: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/5.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
一般的なBI環境 と HadoopGENERAL BI
ARCHITECTURE
HDFS
HDFS
HDFS
HDFS
Hadoop Cluster
Name Node
Data Node 1
・・
DWH
BI Client
BI Server
BI Server
インメモリ型
メモリー
BI Client
Hadoopからのデータロードに
多くの時間を要する
Data Node 2
Data Node 3
Data Node n
![Page 6: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/6.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Asymmetric 並列高速ローディングSAS
®LASR
ANALYTIC SERVER
HDFS
HDFS
HDFS
HDFS
Hadoop Cluster
・・
EP
EP
EP
EP
SAS LASR Analytic Server
SAS Visual Analytics
Client
メモリー
・・
Root Node
Worker Node 1
Name Node
Data Node 1
Data Node 2
Data Node 3
Data Node n
Worker Node 2
Worker Node 3
Worker Node n
EP : SAS Embedded Processing
メモリー
メモリー
メモリー
LASR メモリー内へのデータロード時間
を短縮
Asymmetric=
Hadoopノード数とLASRノード数は不一致でもOK
*1
*2
*2:Cloudera, Hortonworksに対応Teradata, Pivotal, Oracle, SAP HANA 各クラスタにも対応
*1:
![Page 7: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/7.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Hadoop と LASRの共存構成SAS
®LASR
ANALYTIC SERVER
HDFS
HDFS
HDFS
HDFS
Hadoop Cluster
・・
Name Node
Data Node 1
Data Node 2
Data Node 3
Data Node n
メモリー
SAS LASR Analytic Server
Root Node
Worker Node 1
Worker Node 2
Worker Node 3
Worker Node n
SAS Visual Analytics
Client
LASR メモリー内へのデータロード時間
を最小化
メモリー
メモリー
メモリー
Asymmetric=
Hadoopノード数とLASRノード数は不一致でもOK
*1
Cloudera, Hortonworksに対応*1:
![Page 8: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/8.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Hadoop内データの有効活用HADOOP + SAS VA
Hadoop導入済み 今後Hadoop導入検討中
Hadoopデータを簡単・
高速に集計・分析しビジュアライズしたい
Hadoopに対する直接検索(Hive等)で処理時間に不満がある。もっと高速化したい
HadoopデータをDWHに一旦格納した上でBIツールで活用する構成に課題や疑問をもっている。
Hadoop Cluster SAS LASR Analytic Server
![Page 9: インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)](https://reader033.vdocuments.mx/reader033/viewer/2022042816/55972b2b1a28ab5d708b4701/html5/thumbnails/9.jpg)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d . www.SAS.com