基調講演: 「パーペイシブ分析を目指して」#cwt2015

1©Cloudera,Inc.Allrightsreserved.

Amr Awadallah | Cloudera 共同創業者、CTOTwitter: @awadallah

“パーペイシブ分析”を目指して


ビッグデータ⾰命が今まさに起ころうとしています

産業⾰命データ⾰命


それはあらゆる産業で起っていますテレコム

ネットワークパフォーマンスの最適化

⾦融サービス

マネーロンダリングの検知

公共機関

サイバー攻撃の検知

⼩売

商品のレコメンデーション

ヘルスケア

パーソナライズ医療


それはあらゆる事業分野で起っていますマーケティング部⾨

コンバージョンを 2% 増加

営業部⾨

リードの 5% を実績に

管理部⾨

不正⾏為を 3% 削減

顧客満⾜度

解約率を 1% 削減

製品

ユーザーの採⽤が 10% 増加


なぜ今ビッグデータなのでしょう？

インスツルメンテーションパーソナライゼーションアドバンスド・アナリシス

測定できるものはすべて計測されるようになる

従業員とお客様は、費⽤をかけずによりパーソナライズされた

関わりが持てることを期待してる。「ひとりを区別する」時代 �

⾰新的な企業は、実験的で予測的な分析を活⽤して迅速な対応を図ってる


ビッグデータの要件は何によって決まるのでしょう？

©2014Cloudera,Inc.Allrightsreserved.

求められるのは：1.   技術的にも経済的にも⼤規模な拡張が可能（1バイトあたりのコスト削減）

2.   異なるデータタイプを同時に処理（マルチイン）

Ø  構造化データ：リレーショナルデータベースからトランザクションシステムまで (RDBMS)

Ø  半構造データ：サーバログ、センサーログ、クリックストリームなど

Ø  ⾮構造化データ： Eメール、ツイート、画像、⾳声、動画など

3.   同じデータパイプラインで異なるデータタイプを処理（マルチアウト）


Hadoop: スケーラブルでフレキシブルなストレージと処理機能

©2014Cloudera,Inc.Allrightsreserved.

Hadoop の⽅式従来の⽅式

1TB あたり $30,000 以上⾼額で達成不能

•  拡張が困難•  必然的にネットワークがボトルネックに•  構造化データ、リレーショナルデータのみに対応•  新規フィールドやデータタイプの追加が困難

⾼価、特定⽬的、ベンダー製の「信頼性の⾼い」サーバー、⾼価なソフトウェアライセンス

ネットワーク

データストレージ(SAN, NAS)

処理(RDBMS, EDW)

1TB あたり $300 ~ $1,000⼿頃な価格で達成可能

•  無限に拡張可能•  ボトルネックになるネットワークを排除•  あらゆるデータタイプを容易に投⼊可能•  ⾼速な「スキーマ・オン・リード」データアクセス

「普通の信頼性」をもったコモディティサーバーハイブリッド・オープンソース・ソフトウェア

処理(CPU)

メモリストレージ（ディスク）

zz


アジリティを提供する「スマートフォン」のようなビッグデータ

現状アプリケーションにデータをコピー

あるべき姿データにアプリケーションを提供

データ

情報中⼼型であらゆるデータを扱う

業務向け仕様：

さまざまなデータ構造の、あらゆるタイプの

内部や外部データを、360度のビューで統合

アプリ

アプリ

アプリ

処理中⼼型の業務向け仕様：

•  構造化データが中⼼•  内部データ限定•  「⾼い価値密度」のみ•  複数のデータコピー

アプリ

アプリ

アプリ

データ

データ

データ

データ


データソース

データシステム

データアクセス業務分析カスタム

アプリケーション

既存データ

データベース

業務アプリケーション

新規データ

限定的なデータ新規データはもちろん既存のデータでさえ、⼤規模な環境でパフォーマンスを維持しながら管理するには、不適切

まずデータを構造化しなければならない

限定的なインサイトアクセスの制約や貧弱なデータビューにより、不⼗分な分析と限定的な適⽤しかできない

インサイトを実践に移すことは困難

複雑なアーキテクチャ複雑さを⽣む複数のデータやユーザー、ツール群

総合的なセキュリティ対策の⽋如が、犯罪者の付け⼊る隙を⽣む

なぜレガシーなデータアーキテクチャでは不⼗分なのでしょう？

従来のアプローチは構造化のための設計になっている：•  構造化データ•  構造化分析•  構造化プロセス


つまり、

道のりはやさしくない、ということです


1. 正しいチームを組むこと2. 正しいアーキテクチャを採⽤すること3. アジャイルなアプローチを採⽤すること


正しいチームを組む

IT運⽤、情報セキュリティ、DBA、ETL

データチームBI、分析、データサイエンス

「ビジネス」ユーザーすべての⼈

•  SLA を守りながらコストをコントロール•  セキュアな環境の維持•  可能なら、セルフサービス機能を提供

•  データを精査し、新しい事を試してみる•  多⾓的な分析テクニックを駆使•  ⾼いパフォーマンスとアジリティが必要

•  適時、リアルタイムなインサイトが必要•  ⾼度な分析を⾏なう時間やスキルはない•  結果がすべて：ビジネス上の成果は？

成功するビッグデータプロジェクトには、常に次の各グループに属するメンバーが⼊っています：


ビッグデータプラットフォーム⾰命

2006 2008 2009 2010 2011 2012 現在

Core Hadoop (HDFS, MR)

HBaseZooKeeper

Core Hadoop

HivePig

MahoutHBase

ZooKeeperCore Hadoop

SqoopWhirrAvroHivePig

MahoutHBase

ZooKeeperCore Hadoop

FlumeBigtopOozie

MRUnitHCatalog


MahoutHBase

ZooKeeper

SparkImpala

SolrKafkaFlumeBigtopOozie

MRUnitHCatalog


MahoutHBase

ZooKeeper

ParquetSentrySpark

ImpalaSolr

KafkaFlumeBigtopOozie

MRUnitHCatalog


MahoutHBase

ZooKeeper

Core Hadoop +YARN

Core Hadoop +YARN

Core Hadoop +YARN

Hadoop は、単なる Hadoop 以上に多くのことを成し遂げています


Cloudera EnterpriseHadoopを⾼速化し、使いやすく、セキュアな環境に

OPERATIONS DATA+MANAGEMENT

STRUCTURED UNSTRUCTURED

PROCESS,+ANALYZE,+SERVE

UNIFIED+SERVICES

RESOURCE+MANAGEMENT SECURITY

FILESYSTEM RELATIONAL NoSQL

STORE

INTEGRATE

BATCH STREAM SQL SEARCH SDK

新しい種類のデータプラットフォーム•  無制限のデータを1か所に

•  統⼀的なデータアクセス

Cloudera が実現：•  業務スピードの向上

•  容易な管理

•  侵害のないセキュアな環境


WEB/モバイルアプリケーション

オンラインサービスシステム

エンタープライズデータウェアハウス

業務報告書BI / 分析機械学習⾼度なアプリケーション

CLOUDERA MANAGER

メタデータ / ETL ツール

エンタープライズデータハブ

今⽇の情報アーキテクチャデータアーキテクトシステム運⽤担当エンジニアデータサイエンティストアナリストビジネスユーザー

お客様およびエンドユーザー

SYS ログ WEB ログファイル RDBMS


1つにまとめる： EDHのデータを活⽤する

収集、作成、管理制約の無いデータ

データ検索、分析さまざまな⼿段で

実践化⾏動を促すインサイト

アジャイルな処理ステージデータ処理ユーザーアクセス

IT運⽤、情報セキュリティ、DBA、ETL

データチームBI、分析、データサイエンス

「ビジネス」ユーザーすべての⼈

1.

2.

3.

Enterprise Data Hub

⽣データロード、セキュア、統治、タグ

データの改善ブレンド、クレンジング、構造化

信頼性の⾼いデータ⼀般のアクセスを可能に

17©Cloudera,Inc.Allrightsreserved.©2014Cloudera,Inc.Allrightsreserved.

スタートスモール、シンクビッグ (あるいは「⾛る前に歩きなさい」)

SQLを超越する

アジャイルなデータソース

調査

ETL/Batchの⾼速化

運⽤効率(より⾼速に、⼤規模に、低予算で）

⾰新的なアプリケーション (新しいビジネス価値)

安価なストレージ

ビジネスIT

EDWの最適化

パーベイシブ分析


まとめ

1.  テクノロジーの変化であると同時に、⽂化の変化です

2. はじめはゆっくりと、歩いて、それから⾛りましょう

3. 時間がかかります。直ぐに始めましょう

4. コミュニティの専⾨家に学びましょう


共同創業者/CTO、Cloudera, Inc.Twitter: @awadallah

AmrAwadallah

基調講演: 「パーペイシブ分析を目指して」#cwt2015

Technology