AWSマイスターシリーズ “Reloaded” ～AWS Storage Gateway～

2012年2月8日

エバンジェリスト 玉川 憲 (@KenTamagawa )

ソリューションアーキテクト 松尾 康博 (@understeer)

セミナーのAgenda

AWS Storage Gatewayとは？

運用から見る Storage Gateway詳細

Copyright © 2011 Amazon Web Services

AWS Storage Gatewayとは？

既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス

Amazon S3にデータをバックアップ

• 耐久性が高く、安価(1G/月=約10円)

データ転送/保存、ともに暗号化される

東京リージョンをはじめ、世界各地域で利用できる

バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウド

AWS Storage Gateway

バックアップ

リストア

前提知識の復習

Amazon S3

EBSスナップショット

仮想アプライアンス

iSCSI

Amazon S3は、データ保存の基盤

東京リージョン

3か所以上で

自動複製

S3

バケット

高い耐久性で

データ失わない:

99.999999999%

世界中のリージョンから選択

安価な従量課金

1GB/月 – 約10円

データセンターA

データ置くだけ。インフラ、電源、気に

しない。

データセンターB

データセンターC

ファイル(バイナリ、

テキスト、画像、動画)

保存するデータは、自動で暗号化

(AES-256)する

ことも可能

AWS クラウド(東京リージョン)

EC2 アベイラビリティゾーン

EBSスナップショット

EC2 アベイラビリティゾーン

S3

EC2 EC2

EBS EBS EBS EBS EBS

EBSスナップショット

EBSスナップショット

EBSスナップショット

EBSスナップショット

EBSスナップショット

EBSは、EC2のための仮想ディスク

EBSはいつでも、 バックアップをとれる

(スナップショットと呼ぶ)

EBSスナップショットは差分で保存される

(保存料金が安くなる)

いつでも任意のスナップショットからEBSを作成できる

起動しているEC2に EBSを

アタッチできる

仮想アプライアンスとは？

VMware, Xenといった仮想化技術の上で動作するよう設計された仮想イメージ

OS、各種ソフトウェアをあらかじめインストール、設定しており、ハイパーバイザーの上ですぐに使えるようになっている

オンプレミスのデータセンタ

物理サーバ

ハイパーバイザ

仮想 アプライアンス

すぐ動く！

iSCSIとは？

コンピュータとストレージ装置の通信に使うSCSIコマンドをIPネットワークで送受信するためのプロトコル

iSCSI対応ストレージは、LANを経由してローカルドライブとして利用できる

利用側はiSCSIイニシエータを用いる

オンプレミスのデータセンタ

物理サーバ

iSCSI イニシエータ

iSCSI対応 ストレージ

ネットワーク経由で ローカルドライブに！

前提知識を用いて、

Storage Gatewayを

もう一度みてみましょう

Copyright © 2011 Amazon Web Services

Storage Gatewayは仮想アプライアンス

オンプレミスのデータセンタ

SGサーバ

ハイパーバイザ

Storage Gateway

(仮想 アプライアンス)

Storage Gatewayは、 仮想アプライアンスとして、 AWSからダウンロードできる

ハイパーバイザの上で 稼働するだけで、

iSCSI対応の ストレージになる

ハイパーバイザは、 VMWare ESXi 4.1(無償)

に対応

iSCSI対応のストレージになる

オンプレミスのデータセンタ

アプリ・サーバ

iSCSI イニシエータ

SGサーバ

ハイパーバイザ

Storage Gateway

ネットワーク経由

アプリ・サーバからは、

iSCSI形式で ローカル側でディスクとして

利用できる

iSCSIを利用する側は Windows, RedHatの イニシエータを使う

SG上のデータを、S3に自動転送

Amazon S3

AWS Storage Gateway サービス

Amazon Web Services

オンプレミスのデータセンタ

アプリ・サーバ

iSCSI イニシエータ

SGサーバ

ハイパーバイザ

Storage Gateway

SGに書き込まれたデータを、 スケジュールにあわせ、

自動的にAmazon S3に転送

差分のみ、 圧縮して、

暗号化して転送！

データ復旧、システムリカバリ

Amazon S3

AWS Storage Gateway サービス

Amazon Web Services

オンプレミスのデータセンタ

SGサーバ

ハイパーバイザ

Storage Gateway

EBSスナップショット EBSスナップショット EBSスナップショット EBSスナップショット

保存形式は、 EBSスナップショットなので、

差分のみ料金がかかる

Amazon EBS

Amazon EC2

データの リストアも

容易にできる

AWSクラウド上で システムリカバリ

も可能！

AWS Storage Gatewayのユースケース

バックアップ

テープを 別拠点に送付する必要が無く、別拠点の準備も必要ない

バックアップ先のストレージのスペースを、先に購入しておく必要が無く、S3の場合は容量無制限で利用できる

バックアップのスケジュールも容易に周期設定できる

ディザスタリカバリとBCP

ディザスタリカバリ用のデータセンタ、 サーバを用意する必要がなく、ハードウェア投資を削減

仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラウドに持ち込んでもよい(VM Importと呼ばれる)

データ移行

データを既存データセンターからクラウドへ移行

セキュリティへの配慮

AWSと各ゲートウェイの間のデータ転送は、 SSLで暗号化

クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化

iSCSIのイニシエータは、CHAP (Challenge-Handshake Authentication protocol)を用いて、 暗号化認証を実施

AWS Storage Gatewayの詳細機能

ストレージゲートウェイのコントロール

Webコンソールから、ボリューム作成、

１ボリューム 最大1TiB

１ゲートウェイで最大12TiB (12ボリューム)

ボリューム上限緩和申請も可能

スナップショット作成/復旧、作成スケジュールの構成

1, 2, 4, 8, 12, 24時間間隔で設定可能

現状はWebコンソールでの操作のみ。APIは後程提供

https://aws-portal.amazon.com/gp/aws/html-forms-

controller/StorageGatewayRequest

AWS Storage Gatewayの詳細機能

ストレージゲートウェイの自動アップデート

アップデートやパッチを自動的にダウンロード、 インストール、デプロイ

メンテナンスウィンドウを設定可能。

Amazon CloudWatchを用いて、 各ゲートウェイを監視し、ログ化、アラーム設定を行える

転送ネットワークのオプション

ローカルのプロキシサーバ経由も可能

専用線接続サービス( AWS Direct Connect)利用も可能

利用料金

利用料金は、ゲートウェイの利用数、データ保存料金、データ転送料金からなる

ゲートウェイ利用数

毎月$125/1ゲートウェイ

データ保存料金

通常のEBSス ナップショットの料金が適用 (注: S3のPUTの料金などはかからない)

データ転送料金

WSに向かう転送量は通常通り無料 →バックアップ時のデータ転送は無料

AWSから出るデータ転送料が通常どおり必要 →リストア時

いまなら、ゲートウェイ利用料金が2か月無料！

AWS無料使用枠の利用条件も適用される

AWS Storage Gatewayとは？

既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス

Amazon S3にデータをバックアップ

• 耐久性が高く、安価(1G/月=約10円)

データ転送/保存、ともに暗号化される

東京リージョンをはじめ、世界各地域で利用できる

バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウド

AWS Storage Gateway

バックアップ

リストア

セミナーのAgenda

AWS Storage Gatewayとは？

運用から見るStorage Gateway詳細

Copyright © 2011 Amazon Web Services

ローカル側の構成について

ESXi4.1環境

最小構成 4vCPU 7.5GB RAM

最低1物理NIC

ストレージ環境

DAS (最低でも75GBのOVAインストール先ボリューム）

iSCSI ストレージ（任意)

NFSストレージ(任意)

AWSへアップロードするSSL経路

インターネット回線

Direct Connect（任意）

ローカル側ストレージの構成例

Working storage

VM boot storage

HDD

VMFS

HDD HDD

RAID

VMDK

VMDK

VMDK

VMFS

VMDK

共有ストレージ

VMDK

SGサーバ

VMWare ESXi 4.1

VMDKの払い出し方法はESXi標準 • ローカルディスクのVMFSから • NFS経由のVMFSから • iSCSI論理ボリュームのVMFSから • iSCSI論理ボリュームに直接接続 ※ボリュームは最大12個 ※1VMDKのMax 1TiB ※各種冗長化はVM/ストレージ層で実装

LUN

VMFS

VMDK

LUN LUN

iSCSI iSCSI NFS

iSCSI

ローカル側ストレージの構成例

仮想ディスクを適宜追加

Boot用

Working Storage用

iSCSI target用

稼働中の追加も動的に認識可能

冗長化は物理層で実装

注意点

SCSIコントローラは「準仮想化」

ローカル側ネットワークの構成例

仮想NICを用意

iSCSI target及びAWSへの転送用

仮想NICを分けることも可能

NIC,N/W冗長化等は物理層で実装

ローカル側ネットワークの構成

iSCSIの通信用

AWSとの経路

HTTPSで通信

インターネット回線

Direct Connect

SOCKS Proxy

Proxy経由でAWSにアクセスする際に設定が必要

Consoleから設定

ローカル環境の特記事項

時刻同期

ESXiにてNTPサーバと同期

SGサーバは ESXiと同期させる

IPアドレス

SGサーバはDHCPでIP取得

固定するならDHCPサーバにてMACアドレスで制御

冗長構成(N/W, HDD)

ESXiやストレージのレイヤで実装

監視

外部からのPing監視

ESXiレイヤで計測できるメトリクスを利用

Management Consoleの管理項目

Gateway管理

帯域制御

メンテナンスウインドウ設定

ボリューム管理

ボリューム作成、削除、リカバリ

iSCSIターゲット管理

スナップショット作成、管理

定期スナップショットスケジュール設定

監視

スナップショットの進捗

CloudWatchによる各種パフォーマンス監視

帯域制御

AWSとのUp/Down帯域を指定

デフォルトは無制限

SGサーバ自動メンテナンス設定

メンテナンスウインドウを指定可能

メンテナンス内容はパッチの自動適用等

ボリューム管理

iSCSI target

AWS側で見えるボリュームと１：１で対応

ローカル側ディスクをボリュームとして紐付けることで iSCSIターゲットへ

IQNはボリューム作成と同時に設定・開始

作成方法は3種類

新規作成

S3上のSnapshotを基に、オンプレミス側を作成

オンプレミス側ディスクを基に、S3上のSnapshotを作成

ボリュームのステータス管理

ボリューム管理（作成）

VMWare側のボリュームと１：１でマッピング

ボリューム管理（作成）

ローカルのボリュームと１：１でマッピング

作成と同時に、iSCSI target IQNも決定され、自動開始

ボリューム管理

ボリュームの状態確認

各ボリュームのステータスを確認可能

ステータスの例

AVAILABLE (正常)

PASS THROUGH, etc. (異常状態）

http://docs.amazonwebservices.com/storagegateway/lates

t/userguide/StorageVolumeStatuses.html

スナップショット管理（定期実行）

ボリューム毎に設定

1時間～24時間間隔まで

デフォルトは 作成時刻で24時間間隔

スナップショット管理

作成したスナップショットはEC2タブのスナップショット一覧に表示

性能監視

CloudWatchにて各種メトリクスを監視可能

しきい値を設定してアラーム通知も可能

想定利用ケース（バックアップサーバ）

バックアップサーバ用iSCSIストレージとして

S3へのスナップショットが、遠隔バックアップの役割を果たす

定期的に書き込まれるバックアップとスナップショット取得のタイミングを調整することでタイムラグを削減可能

iSCSI Storage

Gateway

NetBackup/NetVault/ARCserve/etc

Local

Backup

S3

Snapshots

DAS/SAN

DBサーバ/Fileサーバ

定期バックアップ

想定利用ケース（ファイルサーバ）

ファイルサーバ用iSCSIストレージとして

更新サイズ・スナップショット頻度が許容できる場合

S3へのスナップショットが、遠隔バックアップの役割を果たす

DB側ですぐにファイルサーバとして復元可能

iSCSI Storage

Gateway

NFS/Windows Storage Server

Local

Volume

S3

Snapshots

想定利用ケース（DBサーバ）

直接DBサーバとして

更新量が性能的に許容できる場合（参照がメインなど）

S3へのスナップショットが、遠隔バックアップの役割を果たす

AWS側ですぐにDBとして復元可能

iSCSI Storage

Gateway

MySQL/Oracle

Local

Volume

S3

Snapshots

Web/APサーバ

想定利用ケース（ストレージサーバプロキシ）

iSCSI targetのヘッドとして

既存のiSCSIストレージ環境に挿し込む形

更新量が性能的に許容できる場合に限られる（参照がメインなど）

S3へのスナップショットが、遠隔バックアップの役割を果たす

iSCSI

Storage

Gateway

iSCSI

Storage

S3

Snapshots

DBサーバ/Fileサーバ/etc

iSCSI

想定利用ケース（w/ Direct Connect）

Direct Connectを利用

転送帯域・速度を確保

大量の更新データを高頻度にスナップショット取得可能

VPC接続の場合は、VPC内にSOCKS PROXYを別途用意、設定

iSCSI Storage

Gateway

Local

Backup

S3

Snapshots

Direct

Connect

動作の詳細

重要な項目

スナップショット

Working Storage

ボリューム

EBS

ボリュームの作成

新規作成の場合

ボリューム内は空（既存データが存在するとクリア）

スナップショットは存在しない

初回スナップショットで、ボリューム内の全データをアップロード

volume snapshot

ボリュームの作成

新規作成（既存データを使用）の場合

ボリューム内のデータを残して利用

作成時に、ボリューム内の全データをアップロードしてスナップショット作成

既存データの移行などで使用

volume snapshot

ボリュームの作成

新規作成（既存のスナップショットを使用）の場合

作成時に、スナップショット内の全データをダウンロードしてスナップショット作成

ボリュームリカバリなどで使用

（EBSのスナップショットはサポート対象外）

volume snapshot

ボリュームの作成（EBS)

スナップショットからEBSを作成

通常のEBS・スナップショットの操作と同じ

EBS化したデータはEC2から読み書き可能

volume snapshot volume

EC2

Working Storage

Working Storageとは

iSCSI経由で書きこまれたデータを一時的に保持するために必要

Snapshot作成時にAWSに転送後、クリアされる

最大2TiB（複数ボリュームで構成可能）

Working Storage（Snapshot直後）

ある時点で、snapshotをとった直後の状態

volume Working Storage snapshot

Working Storage（通常状態）

Snapshot取得後、ボリュームにデータが書き込まれる

Working Storageにも更新データを保持

volume Working Storage snapshot iSCSI

Working Storage（Snapshot取得）

Snapshot時にWorking Storageのデータをアップロード

Working Storageにも更新データを削除

volume Working Storage snapshot

Working Storageがあふれると

異常ステータス PASS THROUGHに遷移する

スナップショットが取れない状態

ローカルディスクの読み書きは可能

実質、S3へのアップロードが停止している状態

復旧するには

Working Storageの増強( ただし Max 2TiBまで）

ボリューム削除・再作成（サイズに応じた時間がかかる）

Working Storageの容量管理が重要

溢れないようにする

書き込み頻度・量を考慮

AWSへのN/W帯域を太く（ Direct Connect等)

いつでもWorking Storageを追加できるH/W構成

監視する（ CloudWatch、vSphere Client等)

WorkingStorageUsed

WorkingStorageFree

WorkingStoragePercentUsed

http://docs.amazonwebservices.com/storagegateway/lates

t/userguide/MainAddLocalDiskWorkingStorage.html

参考情報

AWS Storage Gateway

http://aws.amazon.com/jp/storagegateway/

Blog

http://aws.typepad.com/aws_japan/2012/01/aws-storage-gateway.html

FAQ

http://aws.amazon.com/jp/storagegateway/faqs/

ユーザーガイド

http://docs.amazonwebservices.com/storagegateway/latest/userguide/GettingStarted.html

ビデオ

http://www.youtube.com/watch?v=Fu4VuQ8bdJY

AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/

Copyright © 2011 Amazon Web Services

ブロンズ シルバー ゴールド プラチナ

初回応答時間 １２時間 ４時間 １時間 １５分

サポート連絡先 １人 ２人 ３人 無制限

24/365対応 なし なし あり あり

TEL可能 不可 不可 可能 可能

専任スタッフ なし なし なし あり

特別サポート なし なし なし あり

料金 $49 AWS利用総額の

5%

AWS利用総額の

$0~$10K: 10%

$10K~$80K: 7%

$80K~: 5%

（最低$400）

AWS利用総額の

10%

（最低$15K）

AWS無料使用枠、Linux, Windows各1台ずつ無料

Q & A

Copyright © 2011 Amazon Web Services

詳細条件

iSCSIのクライアントは、Microsoft Windows Initiator形式と、RedHat iSCSI

initiator形式をサポート

VMware ESXi 4.1形式のVMイメージ

バックアップの容量制限について

S3には無限に保存できる

ストレージゲートウェイは、Maxで 1TB(EBSの制限) x 12個

VMイメージのための最低必要スペック

2 Virtual Processors, 4GB RAM, 60GB disk

MicrosoftのVolume Shadow Copy Service (VSS)もサポート予定

現状、Gateway-Storedボリュームのみサポート。今後、Gateway-Cached

ボリュームをサポート予定

Gateway-Storedは完全コピー。Geateway-Cachedは一部ローカルに保存できる

CloudWatch メトリクス

Storage Gateway全体

CloudBytesDownloaded

CloudBytesUploaded

CloudDownloadLatency

QueuedWrites

ReadBytes

ReadTime

WorkingStorageFree

WorkingStoragePercentUsed

WorkingStorageUsed

WriteBytes

WriteTime

Volume単位

QueuedWrites

ReadBytes

ReadTime

WriteBytes

WriteTime