storage gateway で大容量ストレージ構築_jaws-ug沖縄勉強会_cloud on the beach...

Storage Gateway で大容量ストレージ構築

2015/04/25(土)JAWS-UG 沖縄勉強会

Cloud on the beach 2015株式会社レキサス与儀実彦

自己紹介

与儀実彦（よぎさねひこ）

所属：株式会社レキサスインフライノベーション部インフラデザインチーム

ロール：インフラエンジニア・AWSソリューションアーキテクトAWSシステム設計・提案・構築・運用オンプレも時々

好きなAWSサービス：Amazon S3好きな物理学者：リチャード・ファインマン

JAWS-UG沖縄コアメンバーとして活動中

JAWS DAYS 2015 登壇してきました。(2015/03/22)

好きな物理学者：リチャード・ファインマン (1918-1988)

最もポピュラーな（素粒子）理論物理学者の１人

ファインマンダイアグラム、経路積分法、くりこみ理論→ノーベル物理学賞受賞（1968年）

未来技術の可能性を提唱したことでも知られる

・ナノテクノロジーの可能性を提唱（1959年）

・量子コンピュータの可能性を提唱（1985年）

→いままさに実現されつつある技術

おススメ NHKスペシャル NEXT WORLD –私たちの未来-

http://www.nhk.or.jp/nextworld/

5つのテーマで、30年後2045年の未来予想を描いた

１．ビッグデータ・未来予測２．寿命・医療３．ロボティクス４．VR５．宇宙開発・建築技術

NHKの回し者ではないですが、これは必見！！


5つのテーマで、30年後2045年の未来予想を描いた

１．ビッグデータ・未来予測２．寿命・医療３．ロボティクス４．VR５．宇宙開発・建築技術


ビッグデータ（データ分析）・未来予測はその他未来技術の基礎となるためとても重要

本日の資料

多数引用させてもらってます。

http://aws.amazon.com/jp/aws-jp-introduction/

好きなAWSサービス：Amazon S3

AWS の誇るオンラインストレージサービス

→運用者手間いらず

好きなAWSサービス：Amazon S3

AWSを裏で支えている

Amazon RDS for Aurora → RDS の S3 版？

→運用者手間いらず

運用者手間いらず

（個人的妄想）S3、Aurora、ときたら、EC2 のS3 版サービスの登場もそう遠くないはず？

→運用者手間いらず→運用者いらず？？？

？

運用者手間いらず

サーバレスの時代

参照元URLhttp://www.slideshare.net/keisuke69/how-to-usecloudforprogrammer

本日のテーマ

Storage Gateway で大容量ストレージ構築

Storage Gateway 実際に使ったことのある方？

ざっくり言うと、オンプレサーバからも、EC2サーバからも

S3領域をマウントしたシステム領域として利用できるサービス

Storage Gateway とは？

オンプレからも

AWS上でも

S3へデータ保管

3種類の Gateway Type

Gateay-Cached Volumes を利用

私の勘違い

Storage Gateway は S3 にファイルが保存されるので、

Storage Gateway 経由じゃなくても、直接ファイルへアクセス可能

と思っていた。

私の勘違い

→ 実際はアクセスできないStorage Gateway は S3 基盤を使っている

が、通常のS3とは別の領域

Storage Gateway は S3 にファイルが保存されるので、

Storage Gateway 経由じゃなくても、直接ファイルへアクセス可能

と思っていた。

私の勘違い

●大容量ストレージ領域が必要なサービス

Storage Gateway 利用用途

●大容量ファイルを扱うサービスをオンプレミスで運用→サービスの拡大とともに、利用ストレージ容量も増加→拡大スピードにストレージ拡張が追い付かない→拡大に合わせて柔軟にストレージを拡張させたい

●NFSによる大容量ストレージサーバを利用

●諸事情によりアプリ改修ができない

→今後を見据えて、AWSへの移行実施

弊社事例ケース

Storage Gateway を選んだ理由

●NFSによる大容量ストレージサーバを利用


→あまりよろしくないが、ほぼそのまんま移行きるので。。。

オンプレ（簡略図）

web01

DC

mail

NASヘッドサーバweb02 Worker

db01

Storage

iscsi

NFS Client servers

NFS

ELB

AWS移行後（簡略図）

iscsi

NFS Client servers

web01 web02 Woker

NFS

RDS

mail

NASヘッドサーバ

StorageGateway

StorageGatewayインスタンス

S3

その他、Storage Gateway の利点

●独自のプロトコルでS3へのファイル転送時にファイル圧縮されるため、容量が多少は少なくなる


→あまりよろしくないが、ほぼそのまんま移行きるので。。。

現状構成の改善点・課題点１

●NFSポイント、つまりNASヘッドおよびStorage Gatewayインスタンスが単一障害点

→Storage Gateway を複数利用またはクラスター化には費用がかかる

→アプリ改修により、NFS構造から直接S3を参照する構成への変更が理想

→Storage Gateway からの脱却が望ましい

現状構成の改善点・課題点２

●キャッシュストレージ容量の最適化

→CloudWatchグラフで取得されるキャッシュヒット率や運用していく中で最適値を探るしかない

EBS が1ボリューム最大1TB から最大16TBまで利用可能に。。。

Amazon Elastic File System (EFS) 登場。。。（まだLimited Preview版）

Amazon Elastic File System (EFS) 登場

参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs

●Storage Gateway は単一障害点をどう回避するか課題

●キャッシュストレージの最適化が肝要

●Storage Gateway 、S3 、EBS、EFSとの使い分けは要検討

●アプリ・インフラ全体のシステム設計がやっぱり一番大事

まとめ

storage gateway で大容量ストレージ構築_jaws-ug沖縄勉強会_cloud on the beach...

Technology