The Infinite Benefits of Microsoft Azure ～ Scality Connect for Azure Blob Storage x Azureで広がるデータ分析・活用～

Yoichi KawasakiAzure Technology Solution Professional

Asia Intelligent Cloud Global Black Belt

Microsoft Corporation

Slides for Presentation at Scality SDS Day 2017

Scality Connect for Azure Blob Storageとは？

アプリケーション

S3API

• Amazon S3 APIコールからAzure Blob Storage APIへのコール変換を行うトランスレーションレイヤ

• Azureネイティブフォーマットでデータを保存

36の地域でサービス中、42の地域まで拡大予定

(2017年 10月 18日現在)

世界最大のインフラストラクチャー

Platform Services

Infrastructure Services

WebApps

MobileApps

API Apps

Notification Hubs

HybridCloud

Backup

StorSimple

Azure SiteRecovery

Import/Export

SQL Database CosmosDB

Redis Cache

AzureSearch

StorageTables

SQL DataWarehouse

Azure AD Health Monitoring

AD PrivilegedIdentity Management

OperationalAnalytics

Cloud Services

BatchRemoteApp

ServiceFabric

Visual Studio

ApplicationInsights

VS Team Services

Domain Services

HDInsight MachineLearning Stream Analytics

Data Factory

EventHubs

Data LakeAnalytics Service

IoT Hub

Data Catalog

Security & Management

Azure ActiveDirectory

Multi-FactorAuthentication

Automation

Portal

Key Vault

Store/Marketplace

VM Image Gallery& VM Depot

Azure ADB2C

Scheduler

Xamarin

HockeyApp

Power BI Embedded

SQL Server Stretch Database

MobileEngagement

FunctionsCognitive Services Bot Framework Cortana

Security Center

Container Service

VM Scale Sets

Data Lake Store

BizTalkServices

Service Bus

Logic Apps

API Management

Content DeliveryNetwork

Media Services

Media Analytics

Azure Blob Storageとは？• 単一障害点の無い、高度に分散化、冗長化されたスケーラブルなオブジェクトストレージ

• メディアデータ（画像、動画）、文書、ログ、バックアップやアーカイブのためのデータを格納

• Blobサービスの概念

簡易ウェブサーバー機能で静的データ配信

https://<Account>.blob.core.windows.net/photos/IMG001.jpg1. Storage Resource URI

2. Storage Resource URI + Shared Access Signature(SAS) Token

https://<Account>.blob.core.windows.net/photos/IMG001.jpg?sv=2015-07-08&sr=b&sig=39Up9JzHaxhUIhFEjEH9594DJxe7w6cIRCg0Vo%3D&se=2017-10-18T21%3A51%3A37Z&sp=rcw

Azure CDNを活用した大規模・高速配信

Azure

Blob Storage

Blobファイル作成をトリガーにカスタム処理実行

S3API

• トリガーベースで小規模コードを実行するServerlessソリューション• 複数言語サポート： C#, F#, Node.js, Python, PHP, Java, Batch, Bash）• トリガーの種類：Webhook, HTTP, Timer, Azureサービスイベント

（Blob, Queue, EventHub, Cosmos DB, etc）• 複数Azureサービス/3rd Partyサービスとの統合

Azure Functions

Blobファイルアップロード CSVファイルを元に

Azureテーブルへの変換

Power BIでグラフ化（可視化）

Azure Searchによる非構造化データの全文検索

S3API

Azure

Blob

Storage

Azure Search

• オフィス、PDF, HTMLからのAzure Searchインデックス作成が可能 ( PDF, Microsoft Office formats, Outlook emails, HTML, XML, ZIP, EML, RTF etc)

• 定期的実行による更新（最小5分）が基本、データソースのフルクロールも可能

Azure Search Blob Indexer

Title=“Azure Search Deep Dive”

Description = Many applications use

search as the primary interaction

…Microsoft …

LastUpdate= 2017-10-18

Rating = 5

Blobストレージを基盤としたAzureのBig Data＆分析サービス群

Hadoop

(HDInsight)Azure Machine Learning

Azure SQL

Data warehouse

Azure

Data Factory

S3API

Blobデータを取り込み機械学習の実行

Azure SQL DB

データ クライアント

構築されたモデル

はAPI経由で利用可能

API

ML STUDIO

Business problem Modeling Deployment Business value

Devices Applications Dashboards

データ→モデル→Webサービス

Microsoft Azure Machine Learning

GUIでモデル作成・

トレーニング・評価

Hadoop

(HDInsight)

Blobs

Tables

Blobストレージを基盤としたHadoop分散ファイルシステム上のデータに対してMapReduceやSpark処理の実行

HDInsightクラスタ

Hadoop 分散ファイルシステム(HDFS) API

Azure Blobs

Windows Azure Storage Blobs (WASB)

MapReduce/Tez

HBase Storm

. . .Mahout

SparkHive/Pig

構造化・非構造化データ等

あるゆるデータの加工と分析

をサポート

HDInsightエンタープライズクラスの

Hadoop PaaS型サービス

まとめ• Scality Connect for Azure Blob Storageによりアプリ開発者はコストを軽減しつつクラウドストレージの柔軟性を享受することが可能となる

• Azure Blob ストレージに保存されたデータは、バックアップやアーカイブ以外に、Azureサービスとの連携によりデータ分析・活用の幅を広げることができる