[data platform conference tokyo 2017]...

エキスパートに聞く！クラウドで実現するビッグデータ活用

日本マイクロソフト株式会社佐藤直生日本アイ・ビー・エム株式会社平山毅ホートンワークスジャパン株式会社北瀬公彦

© Data Platform Conference Tokyo 2017. All Rights Reserved2

Data Platform

Conference Tokyo 2017


メジャーなクラウドにおけるビッグデータ・アナリティクス関連サービスについて確認

Azureのビッグデータ・アナリティクス関連サービスについて

IBMのビッグデータ・アナリティクス関連サービスについて

アジェンダ

日本マイクロソフト株式会社パートナー事業本部エバンジェリスト

佐藤直生氏

日本アイ・ビー・エム株式会社IBMクラウド事業本部

コンサルティング・アーキテクト

平山毅氏

Data Platform



Category OSS AWS Azure Google IBMETL NiFi, Sqoop, Flume,

etcAmazon Data Pipeline Azure Data Factory

Azure Data CatalogCloud DataPrep Data Connect

メッセージングシステム

Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub

ビッグデータ分散処理

HadoopSpark

Amazon EMR Azure HDInsight Cloud DataProcCloud Dataflow

BigInsights for Apache Hadoop

リアルタイムデータ処理

Storm Amazon Kinesis Azure StreamAnalytics

Streaming Analytics

NoSQL MongoDB, CouchDB,HBase, Cassandra, etc

Amazon DynamoDB Azure CosmosDBAzure Time Series

Insights

Cloud DatastoreCloud BigTable

IBM Cloudant

データウェアハウス Hive / Druid Amazon Redshift Azure SQL Datawarehouse

BigQuery IBM Db2 Warehouse on Cloud

クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake Analytics

BigQuery BigInsights for Apache Hadoop (Subscription)

BI Superset, etc Amazon QuickSight PowerBI Google Data Studioデータサイエンス Zeppelin

Jupyter NotebookAmazon Machine

LearningAzure Machine

LearningCloud DataLab IBM Data Science

Experienceマシーンラーニング Amazon Machine

LearningAzure Machine

LearningCloud Machine

Learning ServicesIBM Watson Machine

Learning

クラウドサービスの紹介

ビッグデータ・アナリティクス

参考: https://ilyas-it83.github.io/CloudComparer/

Data Platform



ビッグデータ分析のための

データパイプライン

ストリームデータ転送

分散ファイルシステム

データウェアハウス

Business Intelligence

分散処理データサイエンス

バルクデータ転送

アドホッククエリー

リアルタイム処理

マシンラーニング

DB

DB

NoSQL

Sensor

Sensor

Data Platform



Apache Kafka

Apache HDFS

ApacheHive / Druid

ApacheSuperset

Apache Hadoop /

Spark

Apache Zeppelin

Apache Sqoop

ETL

ApacheHive QL / LLAP

Apache Storm

Spark Mllibなどの機械学習ライブラリを使用して開発

DB

DB

Mongo DB

Apache HBase


OSS ビッグデータ・アナリティクス

Sensor

Sensor



Data Platform



AmazonKinesis

AmazonS3

AmazonRedshift

Amazon QuickSight

AmazonEMR

Apache Zeppelin

ETL

AmazonAthena

AmazonKinesis

Analytics

Amazon ML

DB

DB

AmazonDynamoDB


AWS ビッグデータ・アナリティクス

Sensor

Sensor



Data Platform



GoogleCloud Pub/Sub

GoogleCloud Storage

GoogleDatastore

Google Data Studio

GoogleCloud

Dataproc

Google Cloud Datalab

ETL

GoogleBigQuery

Google Cloud

Dataflow

Google Cloud Datalab

DB

DB

Google BigQuery

GoogleBigTable

Google Cloud

Dataflow


Google ビッグデータ・アナリティクス

Sensor

Sensor



Data Platform



AzureEvent Hub

AzureBlob / ADLS

AzureSQL Server

Data warehouse

Azure PowerBI

Azure MLETL

それぞれのサービスに付属

AzureStreaming Analytics

Azure ML

DB

DB

AzureCosmoDB

AzureHDInsight


Azure ビッグデータ・アナリティクス

Sensor

Sensor



Data Platform



IBM Message Hub

IBMObject Storage

IBM Db2 Warehouse

on Cloud

Cognossなど、UnmanagedなBI製品を利用

IBM Data Science

ExperienceETL

それぞれのサービスに付属

IBMStreaming Analytics

IBM Watson Machine Learning

DB

DB

IBM Cloudant

BigInsights for Apache Hadoop


IBM ビッグデータ・アナリティクス

Sensor

Sensor



日本マイクロソフト株式会社パートナー事業本部エバンジェリスト

佐藤直生氏

デジタルトランスフォーメーション

クラウド AIデータ


データレイク

オペレーションデータベース


データレイク

オペレーションデータベース

セキュリティと

プライバシー選択肢の柔軟性

あらゆる場所の

あらゆるデータに対応

AI 組み込み | 最もセキュア | 最小の TCO

2年連続で業界トップ

TPC-H パフォーマンスでトップ

任意のデータに対する T-SQL クエリ

Aurora より 70% 高速

Redshift の 2 倍のグローバルリーチ

上限なし、99.9% SLA

ハイブリッド

SQL ServerAzure

データサービスコード変更なしに簡単に移行

SocialLOB Graph IoTImageCRM

Apps + insightsSocial

LOB

Graph

IoT

Image

CRM 投入格納準備、訓練モデル、提供

Data orchestration and monitoring

Big datastore

Hadoop/Spark and machine learning

Data warehouse

制御使いやすさ

Azure Data Lake

Analytics

Azure Data Lake Store

Azure Storage

Any Hadoop technology

Workload optimized,

managed clusters

Specific apps in a multi-

tenant form factorAzure Marketplace

HDP | CDH | MapR

Azure Data Lake

Analytics

IaaS クラスターマネージドクラスタービッグデータサービス

Azure HDInsight

ビッグデータ

ストレージ

ビッグデータ分析

ユーザー導入

OSS ビッグデータフレームワークを希望しているか?

オンプレミスと厳密

に同じである必要

があるか?

対話型、ストリーミングが必要か?

必須強い意見なし

Azure Marketplace (IaaS)

• All workloads exactly like on-premises

• Cloudera/MapR

Azure HDInsight

• Most Hadoop workloads

• Fully managed by Microsoft

• Sell HDI + ADLS

• Stickier to Microsoft than VMs

• Can do interactive (Spark) and streaming

(Storm/Spark)

Azure Data Lake

• Easiest experience for admin: no sense of

clusters, instant scale per job

• Easiest experience for developers: Visual

Studio/U-SQL (C#+SQL)

• Sell ADLA + ADLS

• Batch workloads only

はい主要な機能が必要はいバッチで十分

.NET/VS ユーザーか?

ビッグデータソリューション3 つの主要ソリューション

ビッグデータによる、データウェアハウスのモダナイゼーション

高度な分析 Internet of Things (IoT)

モデル、提供準備、訓練

HDInsight /

Spark

データ

Business

apps

Custom

apps

Sensors

and devices

インテリジェンスアクション

格納

Blobs / Data Lake

投入

Data Factory

Analytical dashboards

Web & mobile apps

Machine Learning Cosmos DB

SQL DB

SQL Data Warehouse

Analysis Services

Operational reports

Business

apps

Custom

apps


Azure SQL Data

Warehouse

Azure SQL Data

Warehouse

Azure CLI

Azure Data Factory

bcp Command Line Utility

SQL Server Integration Services

Business

apps

Custom

apps


Business

apps

Custom

apps

Azure SQL Data

Warehouse

Azure SQL

Database

Azure Analysis

Services

Data Migration Service





Business/Custom

apps

(structured)

Azure SQL Data

Warehouse

Azure CLI, Azure Data Factory

Azure Analysis

Services


Logs, Files and

media

(unstructured)


Azure SQL Data

Warehouse

Azure Storage

Business/Custom

apps

(structured)

Logs, Files and

media

(unstructured)

Polybase

Azure HDInsight

(Hadoop/Spark)


*IDC study “The Business Value and TCO Advantage of Apache Hadoop in the Cloud with Microsoft Azure HDInsight”

Azure HDInsightエンタープライズ向けの Spark、Hadoop クラウドサービス

信頼性エンタープライズ級生産性の高いプラットフォーム

コスト効率統合

簡単

63% 低い TCO

Azure SQL Data

Warehouse

Azure Storage

Business/Custom

apps

(structured)

Logs, Files and

media

(unstructured)

Polybase

Azure HDInsight

(Hadoop/Spark)

Azure Machine Learning &

Machine Learning Server


Model Management

モデルのデプロイ、バージョン管理、管理、監視

Workbench

データ準備、モデル構築、デプロイ、管理

Experimentation

Spark、GPU、アジャイル開発で生産性を加速

Azure SQL Data

Warehouse

Azure Data Lake

Store

Business/Custom

apps

(structured)

Logs, Files and

media

(unstructured)

Polybase

Azure Data Lake

Analytics




Azure SQL Data

WarehouseAzure Storage

Polybase

Azure HDInsight

(Hadoop/Spark)




Sensors and IoT

(unstructured) Azure Event Hubs

Azure IoT Hub

Azure HDInsight

(Kafka)

Azure SQL Data

Warehouse

Azure Stream Analytics

Polybase




Sensors and IoT


Azure IoT Hub

Azure HDInsight

(Kafka)

Azure SQL Data

Warehouse

Azure Storage

Business/Custom

apps

(structured)

Logs, Files and

media

(unstructured)

Polybase

Azure HDInsight

(Hadoop/Spark)




Web & mobile apps

Cosmos DB

Sensors and IoT


Azure Data Factory

Orchestration

Azure Key Vault

Key Management

Azure ExpressRoute

Private Connections

Operations Management Suite

Monitoring

Data Lake Analytics

Business

apps

Custom

apps

Sensors

and devices

Data Lake

Store

Data Factory(Data Movement)

Machine Learning

Web & mobile apps

Cosmos DB

SQL DB


SQL Data

Warehouse

Analysis

Services

Operational reportsHDInsight

(Hadoop/Spark)

Stream Analytics

Blob

Storage

Event Hubs

Kafka on HDInsight

Azure

Azure Data Factory

Orchestration

Azure Key Vault

Key Management

Azure ExpressRoute

Private Connections

Operations Management Suite

Monitoring

利用分析

MACHINE LEARNING

データ

Business

apps

Custom

apps

Sensors

and devices

インテリジェンスアクション

格納

UP TO 150TB

準備、投入

INTEGRATION SERVICES


Web & mobile apps

REPORTING SERVICES

SQL Server<150TB compressed, SMP

PolyBase

Analytics Platform System>150TB compressed, MPP

Your big data store

Operational reports

SQL Server 2017Windows Server、Linux、Dockerで動作

アダプティブクエリ処理を備えた業界トップのパフォーマンス

R、Pythonによるデータベース内の高度な機械学習

SQL Server2017

TrustedHybrid IntelligentProductive

Microsoft Azure

最新技術とソリューションの動向。取り組むべき課題と習得すべきスキル。80 を超えるセッションをご用意しお迎えします。

お申し込みは http://aka.ms/mstsjp17

#mstsjp17

早期割引申込受付中!

インフラエンジニア、アーキテクト、IT 戦略にかかわる皆様のための技術カンファレンス

http://aka.ms/mstsjp17

日本アイ・ビー・エム株式会社IBMクラウド事業本部

コンサルティング・アーキテクト

平山毅氏

エキスパートに聞く！クラウドで実現するビッグデータ活用

日本マイクロソフト株式会社佐藤直生日本アイ・ビー・エム株式会社平山毅ホートンワークスジャパン株式会社北瀬公彦

[data platform conference tokyo 2017]...

Software