aws上で『世界最速級』のデータ入出力!!...2016/06/13 ·...

AWS上で『世界最速級』のデータ入出力!!事例から紐解く、次世代の情報活用術

神原豊彦

ネットアップ合同会社ソリューションアーキテクト部部長

2019年 6月 13日（DAY-2）17:00~17:40

AWS SUMMIT TOKYO G2-08

NetApp Data Fabricお客様がデータを自由に移動できデジタル・トランスフォーメーションを加速するために

1

NETAPP

DATA

FABRIC

エンタープライズ

IT

次世代型データセンター

パブリッククラウド

自動車

モバイル

小売

住居

小口金融

医療

運輸

防衛

航空

政府機関

閉域ネットワーク

インターネット

© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —

▪ AWSの協力による提供製品▪ ONTAP Family (Fabric Pool, NPS for AWS)

▪ SolidFire Backup to AWS S3

▪ StorageGRID

▪ Cloud Volumes Family

▪ Cloud Volumes ONTAP

▪ Cloud Volumes Services

▪ Cloud Sync, Cloud Backup, Cloud Tiering

▪ SaaS Backup for Office 365/Salesforce

▪ ビジネスモデルの拡大▪ AWS Market Placeによる Hourly 提供

▪ Hybrid Cloud モデルの拡大

▪ 無償トライアル環境の提供

▪ Cloud First Partner Program

▪ AWS Advanced Consulting Partner

2012年から AWS対応製品の提供データファブリックによりデジタルトランスフォーメーションを加速

2 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —

事例からデータ入出力の改善デザインを模索

1. 既存オンプレミス環境との継続的なデータ同期/データ連携

2. AWSを用いた組織外の技術者とのデータ公開/共有

3. 遺伝子データ解析におけるビッグデータ活用

4. サマリー

AWS上のシステムにおけるデータ入出力に関するデザインパターンをご紹介


既存オンプレミス環境との継続的なデータ同期/データ連携


AWSとオンプレミス環境双方のストレージコストを25%逓減

▪ 背景

▪ 2013~2015年クラウドファースト戦略

▪ “SMART” キャンパスの実現に向けてAWS の IoT・ビッグデータ解析技術を活用

▪ チャレンジ

▪ データ総容量数PB

▪ 研究データや学生/教職員の個人データ

▪ オンプレミスから AWSへ移行 & 連携

▪ オンプレミス環境でのデータ更新は止められない

▪ 50,000人を超える利用者を抱える中で一斉停止は現実的では無い

オーストラリアモナシュ大学 : https://customers.netapp.com/en/monash-university-ontap-cloud-case-study/


• 1958年創立ビクトリア州立大学

• タイムズ高等教育世界ランキング第33位オーストラリア第1位

• 世界大学ランキング 100名校の一つ

• オーストラリア研究重点 8大学の一つ

• 学生・教職員総数：約 58,000人

https://customers.netapp.com/en/monash-university-ontap-cloud-case-study/

Before : NetAppによる最適化以前の構成研究システムに必要なデータのメタ情報を如何に引き継ぐか? RDBMSへインデックスの作成


VPC

AWS Cloud

Availability zone

AmazonEC2

AmazonEBS Amazon RDS

for PostgreSQL

AWS Lambda

Subnet

AmazonS3

オンプレミス環境

研究アプリ

コントローラ（管理制御）

AFTアプリ(Automatic

File Transport)

1

2

2

3

2 4

4

5

5

NFS

AWS DirectConnect

AWS DirectConnect

After : NetAppによる最適後の構成 25%のコスト逓減研究システムに必要なデータのメタ情報を如何に引き継ぐか? RDBMSへインデックスの作成


VPC

AWS Cloud

Availability zone

Subnet

オンプレミス環境

研究アプリ

NFS

NetApp Private Storagefor AWS

Cloud Volumes ONTAP

AmazonEC2

Amazon RDSfor PostgreSQL

AWS DirectConnect

AWS DirectConnect

▪ Amazon EC2からオンプレデータマウント

▪ NetApp Private Storage for AWS

▪ AWS Direct Connectの応答速度は驚異的

▪ 東京リージョン ~ Equinix POP: 2ms※

▪ ストレージの最大レイテンシ: 20ms

発想を変えた「逆立ち」のアプローチ : 移行「期間」を不要に

▪ 常時同期と差分同期で切替時間を最小化

▪ Cloud Volumes ONTAP for AWS

▪ Amazon EC2上で稼働する仮想ストレージ

▪ SnapMirror による業界#1 の転送効率

▪ PULL型差分同期アーキテクチャ

NetAppによるソリューションデザインアプローチ


20ms

一般的なHDDストレージの最大応答遅延限界

平均 1~2ms※

一般的なSSDストレージの平均的な応答遅延: 1ms

※ NetAppによる 2012年以降の調査実測値

time

AWSを用いた組織外の技術者とのデータ公開/共有


NetApp Insight 2016: Cloud Sync Service Demo https://www.youtube.com/watch?v=fVyRTygpggM

© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —10

データを高速に

且つ個別に転送するソリューションが必要

© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —11

データを必要とする人が自身で取得できるセルフサービスの実現

▪ 管理者不要でデータを必要とする開発者や運用担当者が自ら設定・利用可能

▪ 転送セッション単位の時間課金

▪ 従来のデータコピー手法(rsync等)と比較し70倍以上高速（NetApp XCP）

▪ 対応ストレージサービス / プロトコル：▪ CIFS, NFS, NetApp StorageGRID

▪ Amazon S3, EFS

NetAppによるソリューションデザインアプローチ


テナント

AmazonS3

NFS/CIFS

テナント

AmazonS3

NFS/CIFS

テナント

AmazonS3

NFS/CIFS

NetApp Cloud Sync Broker Agent

NetApp Cloud Sync サービスポータル

遺伝子データ解析におけるビッグデータ活用


比類の無い超巨大ビッグデータ解析へのチャレンジAWSを活用した AI & Deep Learning ヒトゲノム解析ロジックの開発


• 2011年アイスランドレイキャビクにて創立

• 遺伝子解析技術のスタートアップとして世界中から高い評価

• 世界で最も革新的な企業 Top 10に選出

• 米国・中国・アイスランドに拠点展開

遺伝子配列解読装置（シーケンサー）

現在の市場平均価格10万円以下

2010年頃のチャレンジ

革新的な解読装置の開発

遺伝子シーケンスデータ

40 ExaBytes/年での増加

2ExaBytes

現在のチャレンジ

革新的な解読手法の開発

AWS re:Invent 2018: WuXi NextCODE Scales up Genomic Sequencing on AWS (ANT210-S)https://www.youtube.com/watch?v=s_FjVRfKJL4

遺伝子データ解析プラットフォームAI・Deep Learning技術を組み込んだ並列分散型遺伝子処理専用ビッグデータ


AWS Cloud

VPC

Public Subnet

Web Subnet App Subnet

Webインスタンス

Beaconインスタンス

Pipelineインスタンス

AWS Auto Scaling

GORインスタンス

GORクラスタ

Monitorインスタンス

Serviceインスタンス

Workerインスタンス

NetAppファシリティ

Cloud VolumesService

NATゲートウェイ

ELB

ELB

インターネットゲートウェイ

Amazon RDB

インターネット

Genomically-Ordered RDB（遺伝子処理RDB）

（WuXiNextCodeが開発）

AWS上で世界最大級のデータ入出力性能 : Cloud Volumes Services

▪ ストレージコスト（合計）▪ Cloud Volume Services: $7,000

▪ Amazon EC2 x4での NFS構成: $11,000

▪ Amazon EFS Provisioned : $18,600

▪ 実環境で役立つ豊富な機能▪ 高可用性：AZ・VPCを跨って利用可能

▪ スナップショット・クローン機能による大容量データの即時バックアップ・複製

▪ ベンチマーク結果捕捉▪ 約 9.91TB/hour の入出力性能

▪ 測定時の最大出力 : 3,500MBps

https://cloud.netapp.com/hubfs/TR-4761-Internet-of-DNA-Cloud-Enabled%5B1%5D.pdf


Cloud VolumesServices for AWS

Amazon EFSProvisioned

Throughput 構成

40

30

20

10

0Amazon EC2上での

NFSサーバー x4

2,887MB/sec

1,374MB/sec

970MB/sec

遺伝子データ 2,500ファイルに対する2TB シーケンシャルリード

処理時間（分）

https://cloud.netapp.com/hubfs/TR-4761-Internet-of-DNA-Cloud-Enabled%5B1%5D.pdf


LIVE DEMO

cloud.netapp.com

https://cloud.netapp.com/cloud-volumes-service-for-aws

Cloud Volumes Serviceエンタープライズクラスのクラウドネイティブなファイルサービスに最高のパフォーマンスを提供


GO FROM ZERO TO 100TB• 数秒でNetAppのファイルシステムをデプロイ

PAY-AS-YOU-GO• “保有する”から“利用する”へ（経費をCapExからOpExへ）

SECURE AND PROTECT DATA• 業界最高レベルの可用性とデータ保護

COPY DEV/OPS WORKSPACES INSTANTLY• ビジネスサイクルを高速化

INTEGRATED WITH THE BIGGEST CLOUD PROVIDERS• 最適なクラウド活用に向けて

DEPLOY MORE WORKLOAD IN THE CLOUD• 最高のパフォーマンスとデータ管理

クラウド上でエンタープライズアプリのデプロイと開発をスピードアップ

NetAppが実現するクラウドネイティブのファイルストレージサービス

セッションサマリー


セッションサマリー / Key Takeaways

▪ NetApp の提供する AWS連携ソリューション▪ AWS上での様々なデータ入出力に関する課題を解決

▪ お悩みの方はお気軽にご相談ください!!

▪ 実プロジェクトで培われたベストデザインパターン▪ 多くのお客様とのプロジェクトの中から新しいサービスを提供

▪ 簡単且つ確実に再利用できるベストデザインパターンも提供

▪ 世界最速級のデータ入出力を実現 : Cloud Volumes Services▪ NetAppの培ったストレージ技術を AWS上でサービスとして利用可能

▪ 超高速・大容量に対応可能なファイルサービス

▪ 多くのお客様との協業事例を公開▪ NetApp Customer Success Story

▪ https://customers.netapp.com/en/?language=en&page=1&sortby=recent


https://customers.netapp.com/en/?language=en&page=1&sortby=recent

AWS Summit Tokyo: NetApp

▪ NetApp クラウドデータサービスポータル

▪ No Credit Card Required!! / 利用料はMarket Place から

▪ AWSアカウントと NetAppアカウントのマッピングだけで利用開始!!

https://cloud.netapp.com


展示会場入口

https://cloud.netapp.com

All NetApp

Cloud Data Services

from one portal

Try | Buy | Deploy | Manage

23

Thank you


aws上で『世界最速級』 のデータ入出力!!...2016/06/13 ·...

Documents

aws上で『世界最速級』のデータ入出力!!...2016/06/13 ·...